1.4 AI는 어떻게 배우는가

AI 학습 및 데이터 용어

Dataset · Embedding · Vector · Fine-tuning · RLHF

프롤로그 — "AI는 정말 이해하고 있을까?"

당신도 한번쯤 해보셨을 것입니다. 한밤중에 혼자 앉아, 혹은 친구들과 장난처럼, 인공지능에게 이렇게 물어본 적이 있으실 거예요.

"사랑이 뭐야?"

그러면 AI는 거짓말처럼 유창하게 대답합니다. 마치 수십 년을 살아온 어른처럼, 혹은 수많은 이별과 설렘을 온몸으로 겪어낸 사람처럼요. 때로는 시처럼 아름답게, 때로는 철학자처럼 깊게. 읽는 사람의 마음이 저릿할 정도로 그럴듯한 문장들이 쏟아져 나옵니다. 그 순간, 우리는 자연스럽게 한 가지 의문을 품게 됩니다.

'혹시 AI도 무언가를 느끼는 것일까? 정말로 이해하고 있는 걸까?'

AI는 사랑을 느껴본 적이 없습니다. 기쁨도, 슬픔도, 설레는 두근거림도 단 한 번도 경험하지 않았습니다. 태어나면서부터 지금 이 순간까지, AI의 내면에는 어떤 감정의 파도도 일렁인 적이 없습니다. 그런데도 AI가 이토록 자연스럽게, 이토록 그럴듯하게 말할 수 있는 비결은 대체 무엇일까요?

그 비밀은 AI는 '이해'하는 것이 아니라, '계산'한다는 것입니다. 세상을 마음으로 느끼는 것이 아니라, 수많은 데이터를 배우고 숫자로 계산하여 가장 그럴듯한 패턴을 찾아내는 것이죠. 마치 수백만 개의 퍼즐 조각을 초고속으로 맞춰가는 것처럼요.

이제 함께 AI의 머릿속을 여행해 볼까요? 복잡하고 어렵게 느껴졌던 AI의 작동 원리가, 이 챕터를 마칠 즈음에는 손에 잡힐 듯 좀더 선명하게 보이실 것입니다.

1. Dataset — AI의 거대한 교과서

Dataset (데이터셋)
자료(Data)의 묶음(Set). AI가 세상을 배우기 위해 사용하는 모든 학습 자료의 집합.

AI는 처음부터 똑똑하게 태어나지 않습니다. 갓 태어난 아기처럼, AI 역시 처음에는 아무것도 모르는 백지 상태입니다. 그렇다면 AI는 어디서 배울까요?

우리 인간이 어릴 때부터 수많은 책을 읽고, 선생님의 말씀을 듣고, 친구들과 대화하며 세상을 배우듯, AI 역시 방대한 양의 정보를 흡수하며 성장합니다. 이 모든 학습 재료의 총집합이 바로 '데이터셋(Dataset)'입니다.

현재 우리가 대화하는 대형 AI 모델들의 데이터셋은 상상을 초월하는 규모입니다. 세계 각국의 책들, 수십 년치 뉴스 기사들, 수백만 건의 학술 논문들, 인터넷에 올라온 수십억 개의 대화들까지. 도서관 하나로는 절대 담을 수 없는 양입니다. 전 세계의 도서관을 모두 합쳐도 모자랄 수 있죠.

실제로 GPT-4 같은 대형 언어 모델들은 수조(兆) 개의 단어로 이루어진 데이터셋으로 학습했다고 알려져 있습니다. 우리가 평생 읽을 수 있는 글의 양과는 비교조차 할 수 없는 수준입니다.

하지만 여기서 중요한 점이 있습니다. 데이터의 '양'만큼 '질'도 중요합니다. 잘못된 정보, 편향된 관점, 불량한 내용이 섞인 데이터로 학습한 AI는 그만큼 잘못된 답변을 내놓게 됩니다. 마치 나쁜 책만 읽고 자란 아이가 세상을 왜곡되게 볼 수 있는 것처럼요.

그래서 AI를 만드는 사람들은 학습 데이터를 수집하고 정제하는 과정에 엄청난 공을 들입니다. AI의 탄생은 알고리즘을 설계하는 것에서 시작되기 전에, 사실은 좋은 데이터를 모으는 것에서부터 시작된다고 해도 과언이 아닙니다.

2. Embedding — 의미를 숫자 속에 '심다'

Embedding (임베딩)
단어나 문장의 '의미'를 컴퓨터가 이해할 수 있는 '숫자'로 변환하는 과정.

자, 이제 진짜 흥미로운 이야기가 시작됩니다. 데이터셋을 가득 채운 AI 앞에 '사과'라는 단어가 등장했다고 상상해 보세요. AI는 이 글자를 어떻게 처리할까요?

컴퓨터는 근본적으로 문자를 직접 이해하지 못합니다. 컴퓨터가 이해하는 언어는 오직 하나, 숫자(특히 0과 1)뿐입니다. 그렇다면 '사과'라는 단어의 '의미'를 어떻게 숫자로 표현할 수 있을까요?

여기서 '임베딩(Embedding)'이라는 마법 같은 기술이 등장합니다. 임베딩은 영어로 '심다', '끼워 넣다'는 뜻입니다. 단어의 의미를 숫자 속에 '심어두는' 것이죠.

예시: '사과' → [0.12, 0.98, 0.33, 0.71, 0.55, 0.04 ...] 이 수백 개의 숫자들이 모여 '사과'라는 단어의 의미와 특성을 표현합니다.

하지만 이 숫자들은 단순히 사과의 번호표가 아닙니다. 각각의 숫자는 그 단어가 가진 여러 가지 특성을 반영합니다. '먹을 수 있는 것인가?', '식물인가?', '달콤한 맛인가?', '색깔은 어떤가?'와 같은 수백 가지 특성들이 각 숫자에 녹아있는 것이죠.

처음에는 이 숫자들이 아무 의미 없이 무작위로 설정됩니다. 그러다가 AI가 수많은 데이터를 학습하면서, 함께 자주 등장하는 단어들은 비슷한 숫자 패턴을 가지도록 숫자들이 조금씩, 아주 조금씩 조정됩니다. 수십억 번의 조정이 반복되고 나면, 결국 비슷한 의미를 가진 단어들은 비슷한 숫자 묶음을 갖게 됩니다.

씨앗이라는 비유가 참 어울립니다. 땅속에 심겨진 씨앗은 겉으로 보면 그냥 작고 딱딱한 알갱이일 뿐입니다. 하지만 그 안에는 꽃의 색깔, 열매의 모양, 뿌리의 깊이까지 모든 생명의 설계도가 담겨 있습니다. 임베딩도 마찬가지입니다. 겉으로는 그냥 숫자 나열처럼 보이지만, 그 안에는 언어의 의미와 관계와 뉘앙스가 정교하게 새겨져 있습니다.

3. Vector — 의미가 그려내는 지도

Vector (벡터) 임베딩으로 만들어진 숫자 묶음. AI의 세계에서는 '의미의 좌표'를 뜻함.

임베딩을 통해 만들어진 숫자 묶음, 이것이 바로 '벡터(Vector)'입니다. 벡터는 원래 물리학에서 '방향'과 '크기'를 가진 양을 표현하는 개념이지만, AI의 세계에서는 조금 다르게 쓰입니다. 단어나 문장의 의미가 공간 속 한 점의 좌표로 표현되는 것이죠.

가장 쉽게 이해하려면 '지도'를 떠올려 보세요. 우리가 지도를 볼 때, 서울과 인천은 가깝고, 서울과 부산은 멉니다. AI의 의미 지도도 마찬가지입니다.

'고양이'와 '강아지'는 둘 다 집에서 키우는 동물이라는 공통점이 있어 의미 지도 위에서 아주 가까운 거리에 놓입니다. 반면 '고양이'와 '비행기'는 공통점이 거의 없어 아주 먼 거리에 떨어져 있게 됩니다.

이 '거리'라는 개념이 AI에게 매우 중요합니다. AI가 질문을 받으면, 그 질문의 벡터와 가장 가까운 거리에 있는 답변의 벡터를 찾아냅니다. 그것이 가장 관련성 높은, 가장 그럴듯한 답이기 때문이죠.

예를 들어 '오늘 비가 오는데 어떤 신발을 신을까?'라고 물으면, AI는 이 문장의 벡터와 가까운 '방수', '장화', '미끄럽지 않은', '우천 시 주의' 같은 벡터들을 찾아 자연스러운 답변을 조합합니다.

한 가지 놀라운 사실이 있습니다. 벡터 공간에서는 단어 간의 관계도 계산이 가능합니다. 유명한 예시를 들어볼게요. '왕' - '남자' + '여자' = '여왕'이 방정식이 벡터 공간에서 실제로 성립합니다! '왕'의 벡터에서 '남자다움'을 빼고 '여자다움'을 더하면, 그 결과가 '여왕'의 벡터와 거의 정확하게 일치합니다. AI는 이런 방식으로 언어 속에 숨겨진 관계를 수학적으로 이해합니다.

이것이 바로 AI가 단순한 단어 검색이 아닌, 의미의 맥락과 관계까지 파악할 수 있는 핵심 원리입니다. 수십만 개의 단어들이 수백 차원의 공간에 좌표로 펼쳐져 있고, AI는 그 거대한 의미 지도를 누비며 최선의 답을 찾아냅니다.

4. Fine-tuning — 전문가로 다듬기

Fine-tuning (파인튜닝)
이미 학습된 AI를 특정 목적에 맞게 더 정밀하게 조정하는 과정.

이제 AI는 데이터셋으로 세상을 배우고, 임베딩과 벡터로 언어를 이해합니다. 하지만 여기서 멈추면 AI는 그냥 '모든 것을 조금씩 아는 백과사전' 같은 존재에 그칩니다. 의사에게 증상을 이야기했더니 요리 레시피를 알려주는 것처럼, 전문적인 상황에서는 엉뚱한 답변을 내놓을 수도 있죠.

그래서 등장한 것이 '파인튜닝(Fine-tuning)'입니다. '정교한(Fine)'과 '조율(Tuning)'이 합쳐진 이 말은, 말 그대로 AI를 특정 목적에 맞게 더 세밀하게 조정하는 과정을 뜻합니다.

비유하자면 이렇습니다. 대학까지 교육을 마친 사람이 있습니다. 세상에 대한 폭넓은 지식을 갖추었지만, 아직 특정 분야의 전문가는 아닙니다. 그런데 이 사람이 의대 레지던트 과정을 밟거나, 로펌에서 인턴을 하거나, 요리 학교에서 집중 훈련을 받으면 어떻게 될까요? 같은 사람이지만 특정 분야에서 훨씬 뛰어난 전문가로 거듭납니다. 파인튜닝이 바로 이 과정입니다.

의료 AI를 만든다고 가정해 볼까요? 범용 AI에게 수십만 건의 의학 논문, 환자 사례, 의사-환자 대화 기록을 추가로 학습시킵니다. 그러면 이 AI는 의학 용어를 정확히 이해하고, 증상과 질환의 관계를 파악하며, 의사처럼 논리적인 추론을 할 수 있게 됩니다. 법률 AI, 교육 AI, 고객 서비스 AI 모두 이런 방식으로 탄생합니다.

파인튜닝의 가장 큰 장점은 효율성입니다. AI를 처음부터 다시 학습시키려면 엄청난 시간과 비용이 필요합니다. 하지만 이미 방대한 지식을 갖춘 AI를 조금만 추가 조정하면, 훨씬 빠르고 저렴하게 전문화된 AI를 만들 수 있습니다.

최근에는 LoRA(Low-Rank Adaptation)같은 기술을 통해 일반인도 자신만의 AI를 파인튜닝할 수 있게 되었습니다. 특정 작가의 문체를 학습한 글쓰기 AI, 특정 기업의 문화를 반영한 HR AI, 특정 브랜드의 톤앤매너를 가진 마케팅 AI. 파인튜닝은 이 모든 가능성을 열어주는 열쇠입니다.

5. RLHF — 사람의 손길로 완성하다

RLHF (Reinforcement Learning from Human Feedback)
인간 피드백 기반 강화 학습. 사람의 평가를 바탕으로 AI를 더 좋은 방향으로 훈련하는 방법.

여기까지 왔으면 AI는 꽤 그럴듯한 존재가 되었습니다. 세상을 배우고, 언어를 이해하고, 전문 분야까지 익혔으니까요. 그런데 한 가지 문제가 남아 있습니다.

AI는 학습 데이터에 있는 모든 것을 가리지 않고 배웁니다. 좋은 것도, 나쁜 것도, 예의 바른 것도, 무례한 것도, 사실인 것도, 거짓인 것도 모두요. 그래서 초기 AI들은 종종 부적절한 답변을 내놓거나, 사람의 기분을 상하게 하거나, 심지어 해로운 정보를 제공하기도 했습니다.

이 문제를 해결하기 위해 탄생한 것이 바로 'RLHF(Reinforcement Learning from Human Feedback)', 한국어로 '인간 피드백 기반 강화 학습'입니다.

핵심 원리는 아주 단순하고 인간적입니다. 사람이 AI의 답변을 보고 직접 평가합니다. 좋은 답변에는 엄지 위로, 나쁜 답변에는 엄지 아래로. 이 평가를 바탕으로 AI는 더 좋은 방향을 학습합니다.

조금 더 자세히 들여다볼까요? RLHF는 크게 세 단계로 이루어집니다.

첫 번째는 '보상 모델 학습'입니다. 사람들이 AI의 다양한 답변들을 보고 순위를 매깁니다. 어떤 답변이 더 도움이 되는지, 더 정확한지, 더 안전한지를 평가하죠. 이 평가 데이터를 바탕으로 '좋은 답변'이 무엇인지 판단하는 보상 모델이 만들어집니다.

두 번째는 '강화 학습'입니다. AI가 답변을 생성하면, 보상 모델이 그 답변에 점수를 매깁니다. AI는 높은 점수를 받는 방향으로 자신을 조금씩 수정해 나갑니다. 마치 미로 속의 생쥐가 치즈(보상)를 향해 경로를 최적화하는 것처럼요.

세 번째는 '반복과 개선'입니다. 이 과정을 수백만 번 반복하면, AI는 점점 사람이 원하는 방식으로 답변하는 법을 익히게 됩니다.

RLHF 덕분에 AI는 단순히 '그럴듯한' 답이 아니라, '사람에게 진짜 유용하고, 안전하고, 예의 바른' 답을 제공하는 법을 배우게 됩니다. 현재 Claude, ChatGPT 등 대부분의 대형 언어 모델들이 이 기술을 핵심적으로 사용하고 있습니다.

선생님이 학생의 답안지를 꼼꼼히 살펴보며 '이 부분은 정말 훌륭해, 하지만 이 표현은 좀 더 따뜻하게 고쳐볼까?'라고 지도하는 모습과 너무나 닮아있지 않나요? RLHF는 AI에게 지식뿐만 아니라 인간의 '감각'과 '가치관'을 심어주는 과정입니다.

다섯 가지를 하나로 연결하다

지금까지 다섯 가지 개념을 배웠습니다. 이제 이것들을 하나의 이야기로 연결해 볼까요?

Dataset 세상의 모든 지식을 AI에게 먹입니다. AI는 책을 읽듯 데이터를 통해 세상을 배웁니다. Embedding 그 지식을 컴퓨터가 이해할 수 있는 숫자로 변환합니다. 단어 하나하나에 의미가 새겨진 숫자 코드가 탄생합니다. Vector 그 숫자들이 거대한 의미 지도 위의 좌표가 됩니다. AI는 이 지도를 보며 비슷한 의미들을 연결합니다. Fine-tuning 범용 AI를 특정 분야의 전문가로 다듬습니다. 의사가 되거나, 변호사가 되거나, 번역가가 됩니다. RLHF 사람의 평가를 바탕으로 AI가 더 좋고 안전한 방향을 찾아갑니다. 인간의 가치관이 AI에게 스며듭니다.

이 다섯 단계가 연속적으로, 유기적으로 이루어지면서 오늘날 우리가 대화하는 AI가 탄생합니다. AI는 단 하나의 알고리즘으로 만들어진 것이 아닙니다. 수많은 사람들의 노력과 지혜가 켜켜이 쌓여 만들어진 결과물입니다.

가장 중요한 한 가지 깨달음

이 모든 과정을 관통하는 단 하나의 핵심 진실이 있습니다. 마음에 새겨두시길 바랍니다.

" AI는 이해하지 않는다. 대신 계산한다. "

AI가 '사랑이 뭐야?'라는 질문에 감동적인 답을 내놓을 때, 그것은 AI가 사랑을 이해해서가 아닙니다. 수십억 개의 텍스트에서 학습한 패턴을 바탕으로, 벡터 공간에서 '사랑'과 가장 가까운 개념들을 계산하고, 사람들이 높이 평가할 만한 문장을 생성한 결과입니다.

이것을 깨닫는 순간, AI를 대하는 우리의 태도가 달라집니다. 신비롭고 두려운 존재가 아니라, 작동 원리를 알 수 있는 도구로 보이기 시작합니다. 그리고 도구를 제대로 이해한 사람만이 그 도구를 제대로 활용할 수 있습니다.

에필로그 — 이제 질문이 달라진다

이제 우리는 알게 되었습니다. AI는 신비로운 마법도, 정체 모를 초지능도 아닙니다. 데이터로 배우고, 숫자로 생각하며, 사람의 손길로 다듬어지는 하나의 거대하고 정교한 시스템입니다. 그 안에는 수백만 명의 연구자와 개발자들이 쏟아부은 땀과 고민이 담겨 있습니다.

이 사실을 깊이 이해하는 순간, 우리의 질문이 달라집니다. 예전에는 막연히 '이거 알아?'라고 물었다면, 이제는 이렇게 묻게 됩니다.

"이 주제에 대해 단계적으로 설명해줘." "다음 조건들을 반드시 지켜서 답변해줘." "이 글을 초등학생도 이해할 수 있는 언어로 바꿔줘."

AI가 계산하는 존재라는 것을 알았으니, 이제 더 정확하고 유용한 계산을 하도록 유도하는 법을 배울 차례입니다. 그것이 바로 우리가 함께 배우고 있는 '프롬프트 엔지니어링'의 진정한 출발점입니다. AI를 이해하는 순간, 프롬프트는 단순한 '질문'이 아니라 '설계'가 됩니다. 그리고 설계는, 의도를 가진 사람만이 할 수 있습니다.

당신은 이제 그 설계자가 될 준비가 되었습니다.