프롤로그에서 우리는 AI의 미래를 이끄는 두 개의 엔진, '진화'와 '혁명'에 대해 이야기했다. 그중에서도 우리를 여기까지 데려다준 현재의 챔피언은 단연 '진화의 엔진'이다. 그렇다면 이 엔진의 심장에는 무엇이 박동하고 있을까? 그 답을 찾기 위해 시간을 2017년으로 되돌려보자.
2017년 이전의 언어 AI들은 한 가지 고질적인 문제를 안고 있었다. 바로 '건망증'이다. RNN(Recurrent Neural Network)이나 LSTM(Long Short-Term Memory) 같은 당시의 모델들은 문장을 앞에서부터 순서대로 한 단어씩 읽어 나갔다. 언뜻 인간이 글을 읽는 방식과 비슷해 보였지만, 치명적인 약점이 있었다. 문장이 조금만 길어져도 앞부분의 중요한 정보를 까맣게 잊어버리는 것이었다.
구체적인 예를 들어보자. "그 강둑(bank)에 앉아 있던 그는 친구와 긴 대화를 나눈 후, 해가 지자 돈을 찾으러 은행(bank)으로 갔다"와 같은 문장에서, 기존 AI는 두 'bank'의 의미를 제대로 구분하지 못했다. 문장 중간의 정보들을 처리하느라 앞에 나온 '강(river)'이라는 결정적인 단서를 잊어버렸기 때문이다. 이는 마치 장편소설을 쓰는 소설가가 1권의 주인공 이름을 10권에서 잊어버리는 것과 같았다.
이런 한계는 성능 지표에서도 명확히 드러났다. 2016년까지의 언어 모델들은 긴 문서 요약 작업에서 ROUGE (Recall-Oriented Understudy for Gisting Evaluation, 텍스트 요약 성능 점수)점수가 30점대에 머물렀고, 기계 번역에서도 BLEU(Bilingual Evaluation Understudy, 기계 번역 결과와 사람이 직접 번역한 결과가 얼마나 유사한지 비교하여 번역에 대한 성능을 측정하는 방법) 점수가 25-30점 수준에 그쳤다. 문맥을 제대로 이해하지 못하니 당연한 결과였다.
이 지독한 건망증을 해결한 구원투수가 2017년 구글 연구원들에 의해 등장했다. 그들은 "Attention Is All You Need(어텐션이면 충분해)"라는 도발적인 제목의 논문 한 편으로 언어 AI의 역사를 새로 썼다. 이 논문에서 제시된 '트랜스포머(Transformer)'라는 새로운 모델 구조가 바로 오늘날 GPT 시리즈를 포함한 모든 거대 언어 모델(LLM)의 심장이 되었다.
트랜스포머의 핵심은 '셀프 어텐션(Self-Attention)' 메커니즘이다. 이를 좀 더 구체적으로 살펴보자. 트랜스포머는 각 단어를 세 가지 벡터로 변환한다: Query(질문), Key(열쇠), Value(값). 마치 도서관에서 사서가 질문(Query)을 받으면, 모든 책의 목록(Key)을 훑어보고 가장 관련성 높은 책의 내용(Value)을 찾아주는 것과 같다.
예를 들어 "The cat sat on the mat"라는 문장에서 'cat'이라는 단어의 의미를 파악할 때, 트랜스포머는 다음과 같이 작동한다:
- 'cat'의 Query 벡터가 문장의 모든 단어(The, cat, sat, on, the, mat)의 Key 벡터와 내적을 계산한다
- 'sat'와 'mat' 같은 관련 단어들이 높은 점수를 받는다
- 이 점수들을 가중치로 사용해 해당 단어들의 Value 벡터를 조합한다
- 결과적으로 'cat'은 "앉아있는 동물"이라는 맥락 정보를 얻게 된다
이 과정이 문장의 모든 단어에 대해 병렬로 동시에 일어난다. 더 이상 순서대로 읽을 필요가 없으니 중요한 정보를 잊어버릴 일도 없다.
트랜스포머의 등장은 곧바로 성능 지표에 반영되었다. 2017년 원논문에서 트랜스포머는 기계 번역 작업에서 기존 최고 모델 대비 BLEU 점수를 28.4에서 41.8로 끌어올렸다. 거의 50% 가까운 성능 향상이었다.
더 놀라운 것은 훈련 시간의 단축이었다. 기존 RNN 기반 모델이 3.5일이 걸리던 훈련을 트랜스포머는 12시간 만에 완료했다. 병렬 처리가 가능해진 덕분이었다.
OpenAI는 이 트랜스포머 기술을 바탕으로 GPT 시리즈를 탄생시켰다. 그 발전사를 살펴보면 '진화의 엔진'이 얼마나 강력한지 알 수 있다:
GPT-1 (2018년): 1억 1,700만 개의 매개변수를 가진 첫 번째 모델. 문장 완성과 간단한 질의응답이 가능했지만, 여전히 일관성 있는 긴 글을 쓰기는 어려웠다.
GPT-2 (2019년): 매개변수가 15억 개로 10배 이상 증가. "너무 위험해서 공개할 수 없다"는 말이 나올 정도로 성능이 향상되었다. 뉴스 기사나 소설의 일부를 주면 그럴듯한 후속 내용을 생성할 수 있게 되었다.
GPT-3 (2020년): 1,750억 개의 매개변수로 또다시 100배 이상 확장. 번역, 요약, 코딩, 심지어 창작까지 가능한 범용 AI로 진화했다. 인간과 구분하기 어려운 텍스트 생성이 가능해졌다.
GPT-4 (2023년): 정확한 매개변수 수는 공개되지 않았지만, 멀티모달(텍스트+이미지) 처리가 가능해지고 추론 능력이 획기적으로 향상되었다. 변호사 시험, 의사 시험 등 전문 자격증 시험에서 상위 10% 안에 드는 성과를 보였다.
하지만 이 놀라운 성능에는 무거운 대가가 따른다. 트랜스포머의 '모든 것을 동시에 본다'는 능력은 가장 강력한 무기이자, 동시에 가장 큰 아킬레스건이다.
계산 복잡도를 구체적으로 살펴보자. 문장의 길이(토큰 수)를 N이라 하면, 셀프 어텐션의 계산량은 O(N²)이다. 이것이 실제로 무엇을 의미하는지 예를 들어보자:
512 토큰 문장: 약 26만 번의 계산
1,024 토큰 문장: 약 105만 번의 계산 (4배 증가)
2,048 토큰 문장: 약 420만 번의 계산 (16배 증가)
8,192 토큰 문장: 약 6,700만 번의 계산 (256배 증가)
이는 파티에 새로운 손님이 올 때마다 이미 와 있던 모든 사람과 악수를 해야 하는 것과 같다. 손님이 10명에서 20명으로 늘어나면 악수 횟수는 45번에서 190번으로, 약 4배 증가한다. 매우 확실하지만 지극히 비효율적인 '브루트 포스(Brute Force)' 방식인 셈이다.
이런 계산 복잡도는 실제 비용으로 직결된다. GPT-3의 훈련에는 약 460만 달러(약 60억 원)가 들었고, GPT-4의 경우 그 비용이 1억 달러(약 1,300억 원)를 넘어선 것으로 추정된다. 단일 훈련에 중소기업 연 매출 규모의 돈이 들어가는 것이다.
추론 비용도 만만치 않다. ChatGPT가 하루에 처리하는 요청은 약 1억 건인데, 이를 위한 GPU 운영비용만 하루에 70만 달러(약 9억 원)가 든다는 추산이 있다. 1년이면 2,500억 원이 넘는 천문학적 금액이다.
이 때문에 트랜스포머는 책 한 권이나 긴 논문 전체를 한 번에 이해하는 데 어려움을 겪는다. 물론 연구자들이 이런 한계를 해결하려는 다양한 시도를 하고 있지만, 아직까지 트랜스포머의 성능을 뛰어넘으면서도 효율성을 확보한 확실한 대안은 나타나지 않았다. 이것이 바로 '진화의 엔진'이 가진 명백한 한계이자, 동시에 '혁명의 엔진'이 필요한 이유다.
이 모든 한계에도 불구하고 트랜스포머가 보여준 성능은 압도적이었다. 구글의 자연어 처리 언어 모델인 BERT(Bidirectional Encoder Representations from Transformers)는 11개 자연어처리 벤치마크에서 기존 최고 기록을 모두 갈아치웠고, T5(Text-to-Text Transfer Transformer) 는 텍스트 생성에서 인간 수준의 품질을 달성했다. Meta의 LLaMA, Anthropic의 Claude까지, 현재 존재하는 거의 모든 거대 언어 모델이 트랜스포머 아키텍처를 기반으로 한다.
이들은 모두 같은 공식을 따랐다: 트랜스포머 + 더 많은 데이터 + 더 강력한 컴퓨팅 = 더 뛰어난 성능.
이것이 바로 '진화의 엔진'이 작동하는 방식이다.
우리가 오늘날 경험하는 AI의 경이로운 능력은 2017년에 탄생한 트랜스포머라는 심장이 더 강력하게 박동한 결과물이다. AI는 트랜스포머라는 '강력하지만 기름을 많이 먹는 엔진'을 얻었고, 이 엔진의 힘을 극대화하는 방향으로 진화해 왔다.
하지만 이제 그 기름값(계산 비용)이 너무 비싸지기 시작했다. 더 큰 모델을 만들 때마다 비용이 기하급수적으로 증가하고, 전력 소비는 환경 문제까지 야기하고 있다. 무어의 법칙도 한계에 도달하면서 하드웨어 발전만으로는 이 문제를 해결하기 어려워졌다.
바로 이 지점에서 AI 개발사들의 보이지 않는 전쟁, '효율화 전쟁'이 시작된다. 그리고 이 전쟁은 단순한 최적화를 넘어서, AI의 근본적인 패러다임 변화로 이어질 가능성이 높다. 우리는 이 전쟁의 의미와 그 너머에 있을 '혁명의 엔진'을 다음 화에서 더 깊이 들여다볼 것이다.