아직 AI를 제대로 쓰지 못하는 분들을 위해
문과생이 AI를 이해하는 첫걸음
AI를 활용하여 업무에 혁신을 일으키는 사람만큼이나 AI에 두려움을 느끼고 거부감을 갖고 있는 사람이 여전히 많다. 밑도 끝도 없이 AI가 사람을 대체할 것이라는 전문가들의 선언이 이러한 두려움을 더욱 부추기고 있다. 하지만 사람이 만든 모든 장치는 그 나름의 원리에 따라 돌아가고 있고, 이 원리를 이해하면 더 이상 두려움의 대상이 아니게 된다. 어떻게 작동하는지 어느 정도라도 알고 나면 어떻게 활용할 수 있는지가 보이기 때문이다. 우선 AI의 핵심이라고 할 수 있는 거대 언어 모델(Large Language Model:LLM)에 대해 살펴보자. 여느 문과생이라도 쉽게 이해할 수 있도록 써 봤으니 끝까지 읽어보시길.
거대 언어 모델인 LLM은 방대한 양의 텍스트 데이터를 학습하여 인간의 언어를 이해하고 생성하도록 설계된 인공지능 모델이다. 과거 컴퓨터 과학자들은 문법과 어휘를 코딩을 통해 입력하려 했다. 하지만 엄청나게 복잡한 문법 구조와 예외 등을 프로그램으로 구현하고 인간의 언어를 흉내 내도록 하는데 결국 실패한다. 하드웨어의 성능이 높아지고 메모리와 CPU, GPU의 가격이 급격히 떨어지면서, 엔지니어들은 어린이가 언어를 익히는 방법을 따라 하기 시작했다. 아기는 문법 따위는 모른 채로 주변에서 들리는 이야기를 기억하며 언어를 배워 나간다. 주어와 동사의 위치를 문법이 아닌 기억에 따라 정리하여 문장을 만든다. 충분히 문장을 확보하면서 아이의 생각은 구체적으로 형태를 갖추기 시작한다.
LLM 역시 단순히 문장을 암기하는 것이 아니라 통계적 확률에 기반해 다음에 올 단어를 예측하는 구조를 갖추고 있다. LLM 역시 수조 개의 문장을 반복적으로 학습하며 언어의 내재된 규칙과 문맥을 스스로 파악한다. 초기의 인공지능이 인간이 정해준 규칙에 따라 움직였다면 LLM은 엄청난 양의 데이터를 통해 언어의 복잡한 구조를 확률적으로 계산해 낸다. 이 과정에서 모델은 단순한 문법적 정확성을 넘어 정보 사이의 논리적 관계까지 습득하게 된다.
LLM의 핵심 설계도라고 할 수 있는 트랜스포머 구조는 인간의 뇌가 정보를 처리하는 방식과 매우 흡사하다. 인간은 긴 문장을 읽을 때 모든 단어에 동일한 비중을 두지 않고 핵심적인 단어에 집중하여 의미를 파악한다. 이를 뇌과학에서는 선택적 주의 집중이라고 부른다. 트랜스포머의 어텐션 메커니즘 역시 문장 내의 각 단어가 서로 어떤 관련이 있는지 계산하여 중요한 정보에 더 높은 가중치를 부여한다. 이는 과거의 모델들이 문장이 길어질수록 앞부분의 내용을 잊어버리던 한계를 극복하게 해 주었으며 기계가 문맥의 흐름을 인간처럼 입체적으로 파악하게 만드는 결정적인 계기가 되었다.
모델의 성능을 결정짓는 파라미터는 인간 뇌의 시냅스와 같은 역할을 수행한다. 시냅스가 뉴런 사이의 신호 전달 강도를 조절하며 기억과 학습을 담당하듯이, 파라미터는 인공 신경망 내에서 데이터가 전달되는 가중치를 결정하는 수치다. 학습 과정에서 이 수조 개의 조절 나사를 미세하게 조정하면서 모델은 정교한 지능을 갖추게 된다. 예를 들어 2020년 발표된 GPT-3는 1750억 개의 파라미터를 보유함으로써 이전 모델이 보여주지 못했던 고도의 추론과 창의적 글쓰기 능력을 증명했다. 파라미터의 숫자가 일정 임계치를 넘어서면서 모델은 단순한 통계 도구를 넘어 창발적인 지능의 특성을 보이기 시작했다.
역사적인 관점에서 볼 때 인공지능 언어 모델의 전환점은 2017년 구글 연구팀이 발표한 논문에서 시작되었다. 어텐션은 당신이 필요한 전부다라는 제목의 이 논문은 기존의 복잡한 구조를 탈피하고 오직 주의 집중 기법만으로 언어를 처리하는 트랜스포머 구조를 제안했다(https://arxiv.org/pdf/1706.03762.pdf). 이 기술적 혁신 이후 언어 모델의 발전 속도는 비약적으로 빨라졌으며 오늘날 우리가 사용하는 고성능 챗봇의 근간이 되었다. 또한 1960년대 등장했던 최초의 챗봇 엘리자가 단순한 키워드 매칭 방식에 의존했던 것과 비교하면 현재의 LLM은 언어의 개념적 의미를 이해하는 단계에 도달했음을 알 수 있다.
실생활에서 이러한 기술적 구성을 체감할 수 있는 대표적인 사례는 신경망 기반의 기계 번역이다. 과거의 번역 서비스는 단어를 기계적으로 치환하여 문맥이 어색한 경우가 많았으나 트랜스포머 기반의 LLM이 적용된 이후로는 문장 전체의 의미를 파악하여 자연스러운 결과물을 내놓는다. 또한 대규모 기업에서 활용하는 고객 응대 자동화 시스템이나 법률 및 의료 문서 요약 서비스 등에서도 LLM은 인간의 보조자 역할을 충실히 수행하고 있다. 이는 파라미터의 거대화와 트랜스포머 구조의 효율성이 결합되어 나타난 실질적인 성과다.
결론적으로 LLM은 인간의 뇌가 언어를 처리하는 논리적 구조를 기계적으로 재현하려는 시도의 산물이다. 트랜스포머 구조를 통해 문맥의 핵심을 짚어내고 수조 개의 파라미터를 통해 지식의 깊이를 조율하는 과정은 인류가 발명한 기술 중 가장 정교한 체계에 속한다. 비록 기계 내부에서 일어나는 일은 복잡한 수치 계산에 불과할지라도 그 결과물로 도출되는 문장은 인류의 집단 지성을 효과적으로 반영하고 있다.
기술이 고도화될수록 인공지능은 더욱 인간의 사고방식에 가까워질 것이며 이는 지식의 생산과 소비 방식을 근본적으로 변화시킬 것이다. LLM의 구조적 원리를 이해하는 것은 단순히 기술적 지식을 쌓는 것을 넘어 인공지능과 공존해야 하는 미래 사회의 필수적인 논리적 토대를 마련하는 과정이다. 우리는 이 거대한 언어 지도를 통해 더 효율적으로 정보를 탐색하고 인간만이 할 수 있는 창의적 판단에 더 집중할 수 있는 환경을 맞이하고 있다.
AI는 적어도 아직까지는 내 일을 빼앗는 경쟁 상대가 아니다. 내 일을 도와주는 똘똘한 직원이다. 물론 처음부터 나한테 쓸만한 일을 하기는 쉽지 않다. 신입 직원에게 일을 가르치듯이 나와 함께 일하는 방식을 알려주어야 한다. 하지만 일단 나와 AI가 서로 합을 맞추기 시작한다면 함께 할 수 있는 일은 엄청나게 많아진다. 두려워하지 말고 아무 AI나 붙잡고 당장 나에게 필요한 일을 부탁해 보자. 엉뚱한 이야기를 하더라도 신참을 가르치듯 AI를 교육시켜 보시라. 조금만 참고 AI를 훈련시키다 보면 합이 만들어진다. 누가 훈련을 받은 것인지는 굳이 따질 필요 없지 않은가.
저 역시 문과생이지만 수학과 과학에 관심이 많습니다. 독자 여러분과 함께 이과의 세계를 훔쳐보고 싶습니다. 궁금하신 내용이 있으면 언제든 댓글을 달아 주세요. 함께 이과생들의 머릿속을 들여다볼 준비가 되어 있으니까요.