제3장 인공지능(AI)과 현대판 추리 게임(2)

Sherlockian Way of Thinking

2. 생성형 인공지능의 시대

딥러닝: 인공지능의 두뇌를 바꾼 혁명

딥러닝(Deep Learning)은 인공지능 기술의 흐름을 완전히 바꿔놓은 핵심 개념이다. 이름 그대로 ‘깊이 학습한다’는 뜻을 가진 이 기술은, 인간의 뇌에서 정보를 처리하는 방식에서 영감을 얻었다. 사람의 뇌는 수많은 신경세포(뉴런)가 서로 연결되어 정보를 전달하고 판단한다. 딥러닝 역시 이와 유사하게, 인공신경망(Artificial Neural Network)을 여러 층으로 깊게 쌓아 올려 데이터를 처리한다.

사실 딥러닝은 새로운 개념은 아니었다. 20세기 중반부터 이미 인공신경망이라는 아이디어는 존재했고, 이론적 연구도 이어졌다. 하지만 당시의 컴퓨터 성능으로는 복잡한 신경망을 학습시키는 데 한계가 많았다. 깊은 구조를 갖춘 네트워크를 훈련시키려면 막대한 계산 자원이 필요했고, 충분한 양의 학습 데이터도 존재하지 않았다. 그래서 딥러닝은 오랫동안 이론 속에만 머물러 있었다.

전환점은 2010년대 초반에 찾아왔다. 그래픽 처리장치(GPU)의 연산 능력이 비약적으로 향상되면서, 복잡한 신경망 모델을 효율적으로 훈련시킬 수 있게 되었다. 동시에 인터넷과 스마트폰 보급으로 이미지, 텍스트, 음성 등 다양한 데이터가 폭발적으로 늘어났고, 딥러닝은 마침내 현실 세계에서 작동하기 시작했다.

딥러닝 기반의 모델을 갖고 ‘ImageNet’ 이미지 인식 대회에 출전한 캐나다 토론토대학의 제프리 힌튼(Geoffrey Hinton) 연구팀. 맨 오른쪽이 제프리 힌튼 교수다.

2012년은 AI 역사에서 특별한 해로 기록된다. 캐나다 토론토 대학의 제프리 힌튼(Geoffrey Hinton) 교수 연구팀은 딥러닝 기반의 모델을 갖고 ‘ImageNet’ 이미지 인식 대회에 출전했다. ImageNet은 수백만 장의 사진을 분류하는 과제를 두고 AI 모델들의 성능을 겨루는 대회였다. 당시 힌튼 팀의 딥러닝 모델은 기존 알고리즘들을 큰 차이로 앞지르며 압도적인 정확도를 기록했다. 이 사건은 ‘딥러닝 혁명’의 서막을 알리는 신호탄이 되었고, 전 세계 AI 연구자들과 기업들은 앞다투어 딥러닝 연구에 뛰어들기 시작했다.

이후 딥러닝은 다양한 분야에서 급속히 확산되었다. 음성 인식, 자연어 처리, 자율주행, 의료 영상 분석 등에서 딥러닝은 기존 기술이 넘지 못하던 벽을 허물었다. 그중에서도 가장 대중적인 주목을 받은 사건은 2016년 이세돌과 알파고의 바둑 대결이었다. 구글 딥마인드가 개발한 알파고는 딥러닝 기반의 강화학습 알고리즘을 통해 바둑의 전략을 스스로 익혔다. 당시 세계 최정상급 바둑 기사였던 이세돌은 알파고에게 1승 4패로 패했고, 전 세계는 ‘기계가 인간의 직관을 넘어설 수 있다’는 사실을 처음으로 실감했다.

딥러닝은 더 이상 단순한 기술이 아니다. 이는 인공지능이 인간과 닮아가는 방식이자, 지금 우리가 마주한 생성형 AI 시대를 가능케 한 결정적인 기반이다. 지금도 매 순간 딥러닝 모델은 수많은 데이터를 통과하며, 패턴을 읽고, 결정을 내리며, 질문에 답하고 있다. 인공지능의 진화는 여전히 진행 중이며, 그 뿌리에는 딥러닝이라는 조용한 혁명이 놓여 있다.

2016년 서울에서 열린 이세돌과 알파고의 세기적 바둑 대결.

Transformer: 인공지능의 구조를 바꾸다

2017년, 인공지능의 진화 과정에서 또 하나의 결정적인 전환점이 등장했다. 구글 브레인(Google Brain) 소속 연구자들이 〈Attention is All You Need(주의 메커니즘이면 충분하다)〉란 논문에서 완전히 새로운 신경망 구조인 ‘Transformer’를 처음으로 세상에 공개한 것이다. 이 구조는 딥러닝 모델이 정보를 처리하는 방식 자체를 바꿔놓았고, 이후 거의 모든 첨단 AI 시스템의 기반이 되었다.

Transformer가 나오기 전까지, 자연어(사람들끼리 일상적으로 사용하는 언어로 규칙은 있지만 완전히 형식화되지 않은 언어 — 편집자) 처리 분야에서는 주로 순환신경망(Recurrent Neural Network)이나 장단기기억네트워크(Long Short-Term Memory) 같은 구조가 사용되었다. 이들은 문장처럼 순차적인 데이터를 처리하는 데 효과적이었지만, 근본적인 한계도 있었다. 계산 속도가 느렸고, 문장이 길어질수록 앞부분의 정보를 기억하거나 반영하는 데 어려움을 겪었다. 이른바 '장기 의존성(Long-Term Dependency)' 문제였다.

Transformer는 이러한 문제를 한 번에 해결했다. 이 모델의 핵심은 ‘어텐션(attention)’이라는 메커니즘이다. 어텐션은 모든 입력 단어들이 서로를 얼마나 중요하게 여겨야 하는지를 계산하는 방식이다. 다시 말해, 문장의 순서를 따르기보다는 정보 간의 관계를 먼저 파악하고, 그 중요도에 따라 가중치를 다르게 준다. 이 단순하지만 강력한 방식은 기존의 순환 구조 없이도 훨씬 더 깊이 있는 문맥 이해를 가능하게 만들었다.

Transformer의 가장 큰 장점은 병렬 처리가 가능하다는 점이다. RNN이나 LSTM은 데이터를 하나씩 순서대로 처리해야 했기 때문에 연산 속도에 한계가 있었지만, Transformer는 입력 전체를 동시에 처리할 수 있어 학습 시간이 획기적으로 줄어들었다. 또한, 어텐션 메커니즘 덕분에 긴 문장이나 복잡한 문맥도 효과적으로 처리할 수 있었고, 구조 자체가 간결하고 반복적이어서 대규모 학습에도 적합했다.

이 논문이 발표된 이후, Transformer는 자연어 처리(NLP)는 물론 음성 인식, 이미지 생성, 코드 작성 등 다양한 분야에서 중심 기술로 자리 잡았다. 특히 OpenAI의 GPT 시리즈, Google의 BERT, Meta의 LLaMA, DeepMind의 AlphaCode 등 현재 우리가 사용하는 거의 모든 첨단 AI 모델은 Transformer 구조를 바탕으로 만들어졌다.

Transformer는 단순히 새로운 모델 하나를 제안한 것이 아니었다. 그것은 AI가 세상을 이해하는 방식 자체를 바꾼 새로운 언어였다. 이 구조 덕분에 인공지능은 사람의 언어를 훨씬 더 깊이 이해하고, 창의적인 방식으로 표현할 수 있는 시대를 맞이하게 되었다.

파운데이션 모델이라고도 불리는 트랜스포머.

GPT의 탄생과 진화: 언어를 배우고, 세계를 이해하는 AI

딥러닝과 Transformer 기술이 인공지능의 새로운 가능성을 열어젖히자, 그 위에 본격적인 언어 능력을 탑재한 AI 모델이 등장하기 시작했다. 그 중심에 선 것이 바로 OpenAI가 개발한 GPT(Generative Pre-trained Transformer) 시리즈다. GPT는 ‘사전 학습된 생성형 트랜스포머’라는 이름 그대로, 대규모 데이터를 바탕으로 먼저 언어 구조를 학습한 뒤, 다양한 작업에 유연하게 활용될 수 있도록 설계된 모델이다.

GPT의 역사는 2018년부터 시작된다. GPT-1은 Transformer 구조를 바탕으로 한 첫 번째 실험이었다. 1억 개 정도의 파라미터를 가지고 비교적 작은 규모로 학습되었지만, 그 가능성은 분명했다. 단순히 입력에 반응하는 수준을 넘어, 문맥을 이해하고 새로운 문장을 생성하는 능력을 보여주기 시작한 것이다.

이듬해 등장한 GPT-2(2019)는 전 세계를 놀라게 했다. GPT-2는 파라미터 수를 15억 개로 확장했고, 훨씬 더 정교하고 유창한 문장을 생성할 수 있었다. “AI가 인간처럼 글을 쓴다”는 표현은 과장이 아니었다. 실제로 일부 문장은 전문가도 인간이 쓴 것과 구별하기 어려울 정도로 자연스러웠다. 이 모델은 처음에는 악용 가능성 때문에 일반 공개가 지연되었을 만큼, 그 능력이 경계와 기대를 동시에 불러일으켰다.

GPT-3(2020)의 등장은 새로운 차원의 도약이었다. 이 모델은 무려 1,750억 개의 파라미터를 가진 초거대 모델로, 언어 처리 능력뿐 아니라 다양한 지식 기반 응답, 창의적 글쓰기, 요약, 번역, 코딩 등 다방면에서 놀라운 성능을 보여줬다. 사람들은 GPT-3가 마치 언어를 '이해하고 있는 것처럼' 보인다고 느끼기 시작했다. 물론 실제로 사고하거나 의식을 가진 것은 아니지만, 문맥을 파악하고 적절한 말을 예측하는 능력만큼은 점점 사람에 가까워졌다.

GPT-4(2023)는 정밀도와 안정성을 더욱 강화했고, 이어 GPT-4o(omni, 2024)에서는 텍스트뿐 아니라 이미지, 음성까지 처리할 수 있는 진정한 멀티모달 모델로 진화했다. 이제 사용자는 글자를 입력하는 대신 말을 걸 수도 있고, 사진을 보여주며 설명을 요청할 수도 있다. GPT는 단순한 언어 모델을 넘어, 점차 인간과의 상호작용 방식 전반을 아우르는 존재로 발전하고 있다.

GPT 계열 모델의 진화는 단순한 기술 발전을 넘어, 인공지능이 언어를 매개로 세계와 소통할 수 있는 존재가 되어가고 있음을 보여준다. 이것은 단지 ‘글을 쓰는 AI’가 아니라, 인간의 사고 구조를 깊이 흉내 내는 새로운 지능의 형식이다.

GTP의 사전학습 방식

생성형 AI의 작동 원리: 추리의 예술

GPT와 같은 생성형 인공지능(Generative AI)은 겉보기에 마치 ‘생각하는’ 것처럼 보이지만, 실제로는 완전히 다른 방식으로 작동한다. 그것은 사람처럼 의도를 품고 문장을 만드는 것이 아니라, 확률 계산을 바탕으로 가장 가능성 높은 다음 말을 선택해 나가는 예측 시스템이다. 말하자면, 천재적인 추리 기계라고 볼 수 있다.

생성형 AI는 기본적으로 인간이 남긴 방대한 언어 데이터를 학습한다. 책, 뉴스, 대화, 블로그, 코드 등 다양한 종류의 텍스트를 수십억 단어 단위로 입력받으며, 언어가 실제로 어떻게 쓰이는지를 통계적으로 분석한다. 그 결과, "이런 말 다음에는 이런 단어가 자주 따라온다"는 확률적 패턴을 무수히 기억하게 된다. 이 훈련 과정을 ‘사전 학습(pre-training)’이라고 부른다.

이 모델이 문장을 생성할 때는 다음에 올 단어나 문장을 예측하는 방식으로 작동한다. 예를 들어, 사용자로부터 “오늘은 날씨가…”라는 문장이 입력되면, AI는 그다음에 ‘맑다’, ‘흐리다’, ‘덥다’ 같은 수많은 단어 후보의 확률을 계산한다. 그리고 그중에서 가장 가능성이 높은 단어를 선택하거나, 일정한 확률 분포에 따라 하나를 샘플링해 이어 붙인다. 이런 식으로 한 단어씩, 한 문장씩 계속 만들어나가며 전체 문장을 완성한다.

이 과정은 사람의 사고처럼 느껴지지만, 그 본질은 어디까지나 통계적 예측이다. AI는 무언가를 이해하거나 의도를 품고 말하지 않는다. 다만 과거 데이터에서 ‘그럴듯했던 연결’을 바탕으로, 지금도 가장 자연스러울 연결을 선택하는 것이다. 이 점에서 생성형 AI는 지식 그 자체보다는 언어의 패턴과 사용 습관을 학습한 모델에 가깝다.

흥미로운 점은, 이러한 단순한 예측 구조만으로도 놀라운 수준의 언어 생성이 가능하다는 사실이다. GPT는 때때로 질문의 맥락을 이해한 것처럼 보이고, 감정을 읽거나 논리를 전개하는 듯한 문장을 만들어낸다. 하지만 이는 어디까지나 수많은 예시 속에서 반복되었던 언어의 흐름을 재구성한 결과일 뿐이다.

결국 생성형 인공지능은 ‘사고하는 존재’라기보다는, 생각처럼 보이는 언어를 만들어내는 확률 기반의 기계다. 이해와 창의성은 여전히 인간의 영역이지만, 이 예측 기계는 점점 더 정교하게 ‘사람스러운 언어’를 흉내 내고 있다. 그리고 그 기술은 우리가 AI를 어떻게 활용할지에 따라, 무한한 가능성과 책임을 동시에 품게 된다.