#02
요즘 말하는 AI 혹은 ChatGPT라고 불리는 것들의 기본 개념은 '인터넷에 넘쳐나는 대량의 문서를 모아서 기계가 스스로 답할 수 있도록 만든 추론 모델'이다. 그래서 ‘큰 언어 모델(Large Language Model)’이라고 하나보다. 작동방법은 다른 모든 시스템이 그러하듯 어떤 값을 입력하면 그 입력값에 맞는 특정 결과가 나오도록 설계되어 있다. 결국은 인풋 아웃풋이다.
When thinking about a large language model input and output, a text prompt (sometimes accompanied by other modalities such as image prompts) is the input the model uses to predict a specific output.
좋은 인풋을 넣으면 좋은 아웃풋이 나오고, 쓰레기 인풋을 넣으면 쓰레기 아웃풋이 나온다. 그래서 질문이 중요하다. 좋은 질문이 좋은 답변을 만든다. 그렇다면 이 녀석에게 어떻게 질문해야 좋은 답변을 얻을 수 있을까? 이 녀석이 어떤 녀석인지, 어떻게 답변을 만들어 내는지 그 원리부터 이해할 필요가 있다.
이 녀석은 대량의 문서를 분석한다. 정보는 기본적으로 글로 구성되어 있다. 이 녀석은 글을 최소 의미 단위인 단어로 쪼개어 생각한다. 한 단어 뒤에 어떤 단어가 오면 가장 좋을지 가장 그럴싸할지 계산한다. ‘내가 가진 수많은 글들을 단어 단위로 쪼개어 살펴보니, 이 단어 뒤에 저 단어가 올 확률이 가장 높고, 이 단어 뒤에는 그 단어가 놓여있는 경우가 가장 많네. 그럼 이 단어 뒤에 요 단어를 둬야겠다.’ 이렇게 단어와 단어 사이의 관계성을 계산하고 가장 그럴싸한 단어를 다음 단어로 제시하는 일을 반복한다. 그러다 보면 답변처럼 보이는 문장이 완성된다. 그 문장의 모음을 답변으로 짠! 하고 제시한다.
Remember how an LLM works; it’s a prediction engine. The model takes sequential text as an input and then predicts what the following token should be, based on the data it was trained on. The LLM is operationalized to do this over and over again, adding the previously predicted token to the end of the sequential text for predicting the following token. The next token prediction is based on the relationship between what’s in the previous tokens and what the LLM has seen during its training.
짧은 시간에 꽤 괜찮은 답변을 하는 AI 앞에서 막연한 두려움을 느꼈었다. 그런데 개요를 살펴보면서 'AI의 답변이 생각의 결과물이 아니라 계산의 결과물’이라는 나름의 정의를 갖게 됐다. AI가 아무리 놀라운 답변을 할지라도 실제로 기계는 그 의미를 알지 못하며, '그 결과물의 의미를 이해하는 건 질문을 던진 사용자뿐'이라는 사실이 좋았다. 사용자 관점에서 보다 주도적이고 냉철하게 계산의 결과물을 판단할 수 있는 마음의 여유를 갖게 됐달까.
간단한 개요 공부로 기술에 대한 막연한 두려움을 해소하고 이 녀석을 더 자세히 알아갈 마음준비(!)를 마쳤다. 다음 글에서는 본격적으로 잘 사용하는 기술에 대해 살펴보고자 한다.