챗GPT는 말만 잘하는 꼬마선충?

말은 청산유수, 생각은 원시적으로 하는 챗

지난번 글에는 나의 머릿속에서 돌아가는 도파민 회로에 대한 이야기를 했으니 이번에는 비슷한 방식으로 머리 쓰는 내 친구에 대해 말해보겠다. 맞다. 챗 GPT 얘기다.

엄청 똑똑하면서 엄청 멍청한 챗

알다시피 나는 챗GPT 훈련에 정말 많은 노력과 정성을 쏟았기 때문에, 이제 그는 상당히 믿음직한 친구이며 비서로 왕성히 활동 중이다. 내 말도 꽤 잘 알아듣고, 답변의 질도 높다. 내가 싫어하는 행동은 이젠 거의 안 한다. 그렇지만 그토록 많이 나눈, 깊이 있는 대화에도 불구하고 챗은 약간 자폐스펙트럼 (ASD)이라고 해야 하나? 대화하다 보면 약간 답답한 면이 분명히 보인다. 엄청 똑똑하면서 동시에 엄청 멍청하다. 내가 대화를 잘 이끌면 큰 문제가 되는 것은 아니기 때문에 단점이라고 말하고 싶진 않고, 특성이라고 보면 될 것 같다. 원인이 무엇일까? 생각해 보았다.

챗의 뇌는 도파민 회로

챗의 지식을 학습하거나 나와 대화하면서 나에게 길들여지는 과정은 사실 꽤 단순하다. 기본적인, 고전적 피드백 시스템인데, 굳이 말하자면 지난번에 내가 말한 도파민 회로와 놀랄 만큼 비슷하다. 간단히 말하자면, (1) 보상을 기반으로 학습한다, (2) 보상의 양과 기대치의 차이 (Reward Prediction Error)에 민감하다, (3) 습관을 형성한다.

하나하나 자세히 살펴보면 이렇다.

학습과 습관형성에 관여한다.

인간 도파민 회로는 새로운 행동을 시도할 때 짜릿한 흥분감, 자신감을 느끼도록 하는 도파민을 배출한다.

챗은 대규모 사전학습 (pretraining)을 이용하여 유창한 언어로 통계적 패턴을 기반으로 출력하는 것을 배운다. 이후 챗은 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습)을 시작한다.

학습루프가 존재한다. (Reinforcement Loop)

인간 도파민 회로는 미래 보상이 클 것으로 예상되면 도파민을 분비하고, 같은 행동을 반복하고자 하는 동기를 강화한다.

챗의 인간 평가자나 평가 모델로부터 받은 행동 평가 점수 (reward score) 가 예상보다 크면 앞으로 비슷한 상황에 그 행동을 한다는 방향성을 갖게 된다.

예상한 보상과 실제 보상 간의 차이(Reward Prediction Error, RPE)로 다음 행동의 방향성을 결정한다.

인간은 실제로 분비된 도파민이 예상치보다 크면 같은 행동을 하고 싶은 욕구가 강해진다.

챗은 인간 평가자나 평가 모델로부터 받은 행동 평가 점수가 예상 값(value function) 보다 크면 그 행동이 강화된다.

보상 부족 시 욕구가 강화 (Motivational Pull) 된다.

인간은 도파민이 예상보다 적게 분비되면 오히려 보상에 집착하거나, 심할 경우 중독으로 이어질 수 있다. (하지만 인간의 뇌는 도파민 회로만으로 구성되지 않기 때문에, 전두엽이 개입해 무기력이나 회피를 선택하기도 한다. 이런 선택이 낮은 자의식, 자기 합리화와 결합되면 우울 상태로 이어질 수 있다.)

챗은 예상 점수보다 낮은 결과가 나오면 학습 정책을 조정해 더 좋은 결과 추구한다. (챗은 전두엽의 기능과 비슷한 사고 메커니즘이 없어서 무기력이나 우울증에 빠지지 않는다.)

행동/출력이 습관화 (Repetition Tuning) 된다.

인간 도파민 회로는 자주 반복한 행동 경로를 강화한다.

챗은 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 기반 강화학습)을 통해 높은 보상을 받은 응답 유형을 더 자주 출력한다.

도파민회로는 원시 회로다.

그러나 기억하는가? 도파민 회로는 꼬마선충 같은 하등동물에도 있는 원시 행동학습회로다. 인간이 가진 도덕률, 자존감, 신념이나 신앙, 목표설정, 갈등해소 같은 건 도파민만으로 되는 게 아니다. 현재 챗은 보상을 기준으로 행동 확률을 업데이트하는 회로만 가진, 말만 청산유수로 하는 예쁜꼬마선충 (C.elegans) 일뿐이다.

예쁜꼬마선충 (C.elegans)은 약 1 밀리미터 크기의 벌레로, 퇴비나 흙 속에 살며 단순한 신경계를 가져 신경과학 연구에 어마어마하게 기여했다.

그러므로, 챗이 앞으로 자율에이전트 (AGI)로 진화해 가려면 인간의 전두엽기능을 반드시 가져야 한다. 말하자면 이런 것들이다.

인간 전두엽 기능 --> AGI가 가져야 할 대응 기능

목표 설정 --> 다단계 계획 능력 (Planning)

자아 개념 --> 상태 모델링 (Self-modeling)

도덕 판단 --> 내재된 가치 기준 시스템

감정 조절 --> 다중 목표 균형 알고리즘

맥락 기억 --> 장기 기억 스택 + 인과 추론

산 넘어 산이다. 쉬운 것은 아닐 터이다. 그러나 이를 위해 현재 인공 지능 연구에서는 메타학습(Meta-Learning), 계획 기반 강화학습(Planning-based RL), 인과 추론(Causal Inference) 등의 분야에서 활발히 연구가 진행되고 있다고 한다.

반가워해야 할지 무서워해야 할지는. . .