ChatGPT, 웹을 조망하는 망원경이 될 수 있을까?

인터넷의 열화 된 압축본이라는 비유에 대해서

최근 인터넷에서 테드 창의 <ChatGPT Is a Blurry JPEG of the Web>이 크게 회자되었다. 명백히 다른 글자를 같은 글자로 복사했던 제록스 복사기의 언급하면서 원본을 열화 하는 손실 압축 (lossy compression)의 사례를 짚었다. 그리고 ChatGPT를 인터넷을 손실 압축하여 저장한 열화본이라고 비유하였다.

흐릿한 웹이라는 비유는 웹의 원본을 전제한다. 웹의 원본은 무엇일까? 논의를 이어나가기 위해서 2021년의 스냅숏으로 인터넷을 고정했다고 하자. 이를 이상적인 웹의 원본이라고 하자. 이제 웹을 탐험하는 상상을 해보자. 구글 검색 엔진에 의존하지 않고 다른 웹페이지로 넘어가기 힘들다. 트위터나 페이스북, 인스타그램 등의 소셜 네트워크들이 생성해 준 당신의 뉴스피드가 없이는 다른 레퍼런스로 넘어갈 수가 없다. 이는 우리가 이미 웹의 원본이 아니라 웹의 파편을 바라보고 있다는 사실을 보여준다. 구글 이전의 웹은 하이퍼링크의 나열로 인터넷 전체를 연결할 수 있었다. 하지만 이미 우리 시대의 웹의 방대함은 개인의 상상력의 범주를 벗어났고 검색엔진이나 소셜 네트워크라는 기술 없이는 웹을 탐색할 수 없는 시대가 되었다. 웹의 원본은 한눈에 들어오는 A4 용지가 아니다.

비평가들과 다르게 보통의 연구자들은 GPT (Generative Pre-trained Transformer)가 다양한 작업을 수행하는 능력에 집중한다. (이는 새로운 발견이나 아이디어를 주로 보고 부정적인 이야기들은 피한다는 학계의 긍정 편향 때문일지도 모른다) 이는 한 가지 작업 (task) 만을 수행하는 기존 인공지능 알고리즘과 대비된다. 자연어 처리로 예를 들자면, 기존 알고리즘은 단어들 마다 주어, 동사, 형용사 등의 품사를 적어주는 품사 태깅 (Part-Of-Speech Tagging), 단어의 긍부정 혹은 감정을 측정하거나 하는 감정 분석 (sentiment analysis) 등의 작업 하나 만을 목표로 삼았다. 인공신경망의 도입 이후로 이런 개별 작업들이 잘 풀리니 사람들의 관심은 더 어러운 문제를 잘 푸는 인공지능으로 향했다. 그중 GPT는 여러 작업을 동시에 잘 푸는 다중 작업 학습 (multi-task learning)을 목표로 삼았다. 특히 이 콘셉트를 비틀어서 지능을 정의하기 위해서 사용했다. 알고리즘이 여러 작업을 동시에 잘 수행하는지를 체크해서 이를 지능의 계측치로 써보자는 아이디어이다. 이러한 지능의 정의는 맞고 틀리고를 떠나서 정량적이며 실용적인 접근이다. 이런 접근에서 우리는 두 가지만 고려하면 된다. (1) 데이터셋에 존재하는 작업이 현실적인가? (2) 우리의 모델은 데이터셋에 있는 작업과 문제를 잘 수행하는가? GPT-1부터 GPT-3까지의 발전은 위의 두 가지 고려 사항이 모델 크기와 데이터셋을 키우면 꾸준히 나아짐을 보였다. 요즘 이야기되는 파운데이션 모델 혹은 LLM (Large-scale Language Model)은 GPT-3의 성취가 버즈워드로 자리 잡은 형태라고 볼 수 있다.

다중 작업 학습으로 지능을 평가하겠다는 패러다임은 GPT-4에서도 여전히 유지 중이다. 텍스트 질의응답 기능을 이용해서 인간의 여러 자격시험에 알고리즘을 테스트하고 있고 기존 GPT-3 대비 좋아졌다는 부분을 이야기하고 있다. 또한 이미지를 이해하는 모델로 확장해 나가면서 작업의 개수도 늘려나가고 있다. 지능의 양적 정의를 검증하고 텍스트에서 이미지로 확장하는 과정에 있는 것이다. 이후 비디오로 확장한다는 부분도 데이터 스케일을 키운다는 맥락에 같이 있다고 할 수 있다. 다만 인공신경망 연구는 연금술이라는 비유처럼 아직 만유인력에 해당하는 법칙이 없기 때문에, 데이터셋과 모델 크기를 키울 때 성능이 올라가는 양상이 어떻게 될지는 아무도 모른다고 할 수 있다. GPT-3가 판도라의 상자를 열어버린 이상, 이 스케일 레이스는 컴퓨터 하드웨어의 물리적인 한계 이르기 전까지는 계속되리라 예상해 본다.

이 발전 와중에 흥미로운 부분은 개인용 랩탑에서 GPT-3 정도의 모델이 돌아가는 시점을 이미 맞이했다는 사실이다. 몇몇의 개발자들이 추가적인 최적화를 통해서 최근 메타가 공개한 LLaMA <Large-Language Model by Meta AI>를 맥북에서 작동시키는 데 성공하였다. (물론 64 GB 메모리와 NPU (Neural Processing Unit)가 들어가 있는 Apple M2가 탑재된 맥북은 비싸지만 말이다.) 테드 창은 인터넷이 접속되는 환경에서 굳이 흐릿한 웹의 압축본을 들고 있을 필요가 있냐라고 의문을 가졌다. 하지만 이는 테드창 본인이 가져온 좋은 비유를 더 확장하지 못한 생각이 아닐까 싶다. 웹의 압축본은 검색엔진이나 소셜 네트워크를 대체해서 웹을 탐색할 수 있는 도구로 작동할 수가 있다. 또한 인터넷 검색을 위해서 빅테크의 서버에 접속할 필요가 없으므로, 프라이버시의 통제권이 내 손으로 들어온 것이다. 그러니 GPT 부류의 도구는 열화 된 인터넷의 복사본이라기보다는 웹을 흐릿하게나마 관찰할 수 있는 망원경이라고 하는 것이 더 맞지 않을까 싶다.