챗GPT의 두뇌를 해부해보자

15kg의 쇳덩어리가 가지고있는 잠재력

사람의 두뇌는 물을 비롯한 다양한 화학물질로 이루어져 있다고 합니다. 단백질, 지방, 탄수화물 뿐만 아니라 각종 비타민과 무기염 등으로 말이지요. 하지만 흔히 말하는 약 1.3kg의 단백질 덩어리에 불과한 우리의 뇌 덕분에 우리는 인지와 인식을 할 수 있고 기억과 학습을 하는 것 뿐 아니라 우리 신체를 제어할 수도 있습니다. 우리의 뇌를 단순한 고깃덩어리라고 칭하기에는 너무나 귀중한 지식과 경험 그리고 기능들을 담고있습니다.

그렇다면 챗GPT의 두뇌 속에는 뭐가들어있을까요? 챗GPT의 두뇌라고 할 수 있는 언어모델(Language Model)이 담겨있는 서버를 가정해 봅시다. 이러한 컴퓨터에는 보통 CPU(중앙처리장치)와 메모리 그리고 GPU(그래픽 처리장치)와 특수한 가속기기 같은 다양한 하드웨어의 도움을 받아 움직입니다. 다시 말하자면 챗GPT의 두뇌는 전자기판과 쇳덩어리에 불과한 것입니다.

출처 : freepiks

그러나 우리의 두뇌와 마찬가지로 이것은 그냥 단순한 쇳덩어리가 아닙니다. 단순한 서버용 PC 하나에도 수천만원을 호가하는 A100, H100 등 최신 GPU와 가속기가 장착되어 있고, 매일 어마무시한 양의 전기를 먹어 치웁니다. 수kg에 불과한 쇳덩어리에는 수천억개가 넘는 매개변수(parameter)를 바탕으로 천문학적인 양의 데이터를 처리하고 사람의 삶을 통째로 바꾸어 버릴 정도의 잠재력을 가지고 있습니다. 

저를 인공지능의 세계로 이끈 것도 바로 이 작은 호기심이었습니다. 저 작고 볼품없는 쇳덩어리가 어떻게 사람의 두뇌가 할 수 없는 일을 척척 해내는 것일까? 저 쇳덩어리 속에 담긴 무언가가 발전하면 인간처럼 인지능력과 의식을 획득할 수 있을까? 라는 지나치게 단순하고 아마추어적인 질문들 말입니다. 고작 1.3kg밖에 나가지 않는 우리의 두뇌가 어떻게 세상을 바꾸어나가고 있는지를 생각하면, 저 쇳덩어리가 앞으로 지구의 모습을 어떻게 바꿀 수 있을지 상상하는 것에도 큰 무리는 없어보입니다.

우리가 걸어온 길

이 브런치북을 시작하면서 우리는 생각하는 컴퓨터를 둘러싼 앨런 튜링과 존 설 박사의 재밌는 실험들을 살펴보았습니다. "컴퓨터가 사람처럼 생각할 수 있는가?"라는 질문을 놓고 뇌과학, 인지심리학, 인공지능 등 다양한 분야의 석학들은 여전히 활발히 논쟁중입니다. 우리는 엔지니어뿐 아니라 여러 분야 전문가들의 목소리에 귀기울일 필요가 있습니다. 

인공지능은 궁극적으로 사람을 다루는 분야라고 할 수 있습니다. 인류 이외의 지적인 존재를 창조한다는 지극히 인간적인 목표와도 맞닿아 있기 때문이지요. 우리의 인공지능 여정의 끝에서 자세히 다루겠지만 인간의 뇌와 컴퓨터 지능의 정체를 다루는 인공지능 분야의 연구는 학문의 경계를 넘어 지금도 활발히 이루어지고 있으며, 이것은 사람의 명령 없이 스스로 생각하고 행동하는 일반인공지능(AGI)의 출현 가능성에 대한 논의로도 있습니다.

또한 우리는 컴퓨터와 인간이 언어를 배우는 과정도 비교해 보았습니다. 컴퓨터와 인간은 매우 비슷한듯 다른 과정을 거쳐 언어를 배웁니다. 그러나 컴퓨터는 확률이라는 본질적으로 인간과 매우 다른 패턴으로 언어를 배웁니다. 또한 아무리 어려운 연산을 척척 해내는 똑똑한 컴퓨터일지라도 인간의 언어를 구사하는 일은 침팬지나 앵무새가 인간의 언어를 배우는 것만큼이나 어렵습니다. 아직까지 컴퓨터에게는 인간처럼 스스로 커뮤니케이션 하고자 하는 목적과 욕망이 없기 때문이죠.  

그럼에도 불구하고 초거대언어모델(LLM)은 강아지와 다르게 매우 그럴듯한 문장으로 인간과 대화할 수 있습니다. 어려운 주제에 대해서도 막힘없이 술술 대답하는가 하면 철학적인 질문에 대해 나름의 견해를 제시하기도 한하지요. 인간과 같은 커뮤니케이션을 향한 욕망이 없는 언어모델은 어떻게 다양한 주제로 사람과 깊이있는 대화가 가능한 것일까요? 우리는 이제부터 언어모델을 해부하면서 본격적으로 '말하는 인공지능의 뇌'라고 할 수 있는 언어모델의 작동원리를 자세히 배워볼 것입니다.