오픈AI의 CEO가 해임됐다가, MS로 갔다가, 다시 오픈 AI로 복귀했다는 뉴스를 심심치 않게 읽을 수 있었던 근래 며칠이었다. 일반인들이 챗GPT나 GPT-4에 대해 관심을 갖게 되면서 덩달아 ‘오픈AI’라는 기업까지 주목을 받고 있다. 2020년 GPT-3가 등장했을 때만 해도 AI언어 모델은 대중의 관심 밖이었다. 아무리 GPT-3가 인터넷에 있는 방대한 텍스트를 학습하고 인간과 유사하게 텍스트를 생성할 수 있는 초거대 언어 모델이라 해도 그다음에 나올 단어가 무엇인지를 예측하는 단순 확률 모델에 불과했기 때문이었다.
‘6살 아이에게 달 착륙에 대해 몇 문장으로 설명해 보세요’라는 질문에 대해 GPT-3가 내놓은 대답은 정말로 이상하다.
‘중력 이론을 6살 아이에게 몇 문장으로 설명하세요.
상대성 이론을 6살 아이에게 몇 문장으로 설명하세요.’
이렇게 대답하는 이유는 GPT-3가 학습한 데이터에서는 아마 ‘6살 아이에게 달 착륙에 대해 몇 문장으로 설명해 보세요’라는 문장 뒤에 ‘6살 아이에게 중력 이론에 대해 설명하세요’와 같은 문장들이 많이 나왔기 때문일 것이다.
여기서 질문을 조금만 바꾸면 GPT-3는 제대로 대답할 수 있다.
‘최초로 달에 발을 내디딘 사람의 이름은’에 대한 대답은
‘닐 암스트롱입니다. 그는 아폴로 11호 미션의 사령관이었습니다. 뒤이어 달 착륙선 조종사였던 버즈 올드린이 발을 내디뎠습니다.’
이와 같이 정확하게 대답할 수 있는 이유는 방대한 텍스트에서 단어의 통계적 분포를 고려했을 때 질문 텍스트 뒤에 가장 흔하게 나올 단어를 누구라도 쉽게 예상할 수 있기 때문이다.
이렇게 언어 모델의 특징을 활용해 정답을 뽑아낼 수 있도록 질문을 만들어내는 일을 ‘프롬프트 엔지니어링’이라고 하는데 챗GPT 이전에는 이런 프롬프트 엔지니어링이 매우 중요했다. GPT-3는 아무렇게나 물으면 제대로 대답하지 못하기 때문이다.
하지만 이제 우리는 챗GPT를 뛰어넘어 GPT-4를 경험하고 있다.
변호사 시험을 보게 했을 때 기존 챗GPT는 400점 만점에 213점으로 하위 10% 수준이었으나 GPT-4는 298점으로 상위 10% 수준에 도달했다. 이 정도면 뉴욕주 변호사에 합격할 수 있는 수준이고, 우리나라 수능에 해당하는 미국 SAT수학 시험에서도 800점 만점에 700점으로 상위 10%에 해당하는 점수를 획득했다.
도대체 이 모든 것이 어떻게 가능할까?
머신러닝, 딥러닝, 빅데이터?
당연히 이와 같은 기술이 필요하겠지만 이 책을 관통하는 핵심 그러니까 AI를 가능케 하는 핵심은 따로 있다. 그래도 언급된 세 단어는 간단하게나마 알고 지나가는 것이 좋겠다.
머신러닝 machine learining은 더 이상 사람이 컴퓨터에 ‘if-then 규칙’을 입력하지 않는 대신 컴퓨터가 데이터에서 스스로 규칙을 찾아낸다. 더구나 사람이 찾아내지 못하는 규칙도 컴퓨터가 학습을 거쳐 찾아낼 수 있게 되었다.
딥러닝 deep learning은 머신러닝의 일종으로, 인간의 두뇌가 작동하는 구조를 본떠 만든 인공 신경망을 기반으로 훨씬 더 많은 데이터를 학습할 수 있고, 훨씬 더 풍부한 규칙들을 찾아낼 수 있다.
빅데이터 big data는 인공지능의 원유와도 같다.
머신러닝과 딥러닝을 위한 어마어마한 양의 데이터를 의미하는데 GPT-2의 학습 데이터 용량은 40GB (웹페이지 800만 개)에 달한다. GPT-3는 GPT-2보다 100배나 더 큰 모델로서 학습한 원본 데이터는 무려 45TB에 달하며, 이 엄청난 데이터에서 잘못된 데이터를 추리고 추려서 알짜배기를 정제한 것만 해도 570GB에 달했고, 이를 모두 학습에 이용했다. 게다가 모델의 크기가 너무 크기 때문에 한번 학습하는데 만도 120억 원이 넘는 비용이 들었다고 한다.
꼭 이런 머신러닝, 딥러닝을 위한 빅데이터 이외에도 유튜브 추천 알고리즘을 위한 빅데이터도 우리 생활과 밀접해 있다. 우리가 ‘오늘도 알 수 없는 유튜브 알고리즘이 나를 여기로 이끌었네.”라고 자주 이야기할 수 있는 것도 유튜브에는 2019년에만 1분에 500시간이 넘는 비디오가 업로드될 정도로 방대한 데이터가 매일 쌓이고 있기 때문이다. 넷플리스 추천도 빠질 수 없다.
책에서는 알파고부터 자율주행(테슬라), 검색엔진(구글), 스마트 스피커(시리), 기계번역(파파고), 챗봇(챗GPT), 내비게이션(티맵) 추천 알고리즘(유튜브)까지 8가지 주제를 선정해서 설명하고 있다.
이 모든 주제를 꿰뚫는 공통점이 AI의 핵심이 아닐까 한다.
우주의 원자 수가 10의 80승인데 총 361개의 점으로 이루어진 바둑판에서 경우의 수는 10의 360승이다. 알파고는 도대체 어떤 방식으로 다음 수를 계산할 수 있었을까?
완전 자율주행 옵션에서 테슬라는 도대체 어떤 방식으로 운전대를 조작할까?
몇 백조 개의 문서가 산재해 있는 정보의 바다인 인터넷에서 구글은 어떻게 검색할까?
시리는 어떻게 내 말을 알아듣고 이해하며 명령을 실행할까?
무작위로 생겨나는 언어들과 규칙들 그리고 언어의 모호성을 극복하고 파파고는 어떻게 번역할까?
챗GPT는 과연 내 말을 이해하고 대답하는 걸까?
계속 바뀌는 교통상황에서 티맵은 어떻게 가장 빠른 길을 안내할까?
넷플릭스는 지금까지 본 적 없었지만 희한하게 마음에 드는 영화를 어떻게 추천해 줄까?
AI의 핵심은 모든 것들을 숫자로 표현하는 것이다.
컴퓨터는 0과 1로 모든 걸 표현하기 때문에 숫자로 표현할 수 있다면 컴퓨터의 강력한 계산 능력을 활용할 수 있게 된다. 언어도 숫자로 표현할 수 있다. 캐러멜, 호박과 태양의 유사성도 벡터와 코사인 거리를 이용해 숫자로 표현할 수 있다. 고객과 영화 각각의 특징도 행렬 인수분해를 이용해 하나의 숫자로 표현할 수 있다. 숫자로 표현할 수 있고, 데이터만 충분하다면 인공지능을 십분 활용할 수 있다. 인공지능과 친해질 수 있다.
이 책을 읽으며 ‘인공지능을 이해하고 기초지식을 쌓을 수 있겠구나’라는 기대감과 함께 책 말머리에 작가가 한 말이 위로가 되었다.
“인공지능은 당신을 대체하지 않습니다. 인공지능을 이해하고 활용하는 사람이 당신을 대체할 뿐이죠.”
인공지능에 대해 정말로 많은 지식을 배웠지만 책을 덮으며 나는 대체당할 것 같은 생각이 든다. 가깝고도 멀다.
