AI 모르면 끝장난다

AI 아틀라스: 인공지능 시대, 인간을 위한 위대한 지도.29장

3부. 방법 — 프롬프트·워크플로우·평가의 기술

29장. RAG 설계: 청크·스키마·랭킹·재생성·근거표시

29.0 도입 – 기억 없는 AI는 금붕어다

AI는 똑똑해 보이지만, 사실 놀라울 만큼 ‘건망증’이 심한 존재입니다.
지금 당신이 아무리 멋진 이야기를 들려줘도,
대화창을 닫는 순간 ― 그것은 마치 물 위에 번진 잉크처럼 사라집니다.

AI는 늘 “현재의 질문”만 바라봅니다.
어제의 대화도, 방금의 농담도, 방금 전의 설명조차 기억하지 못하죠.
그래서 사람들은 종종 묻습니다.

“AI한테 공부를 시켜도 왜 다음에 물어보면 또 모를까?”

이건 마치 금붕어에게 수영을 가르치는 일과 같습니다.
돌아서면 까먹고, 다시 가르치면 또 까먹는,
순간순간은 영리하지만 이어지지 않는 기억의 단절.

하지만, 이 금붕어에게도 ‘기억력’을 선물하는 방법이 있습니다.
그 이름이 바로 RAG,
즉 Retrieval-Augmented Generation,
“검색과 생성이 결합된 새로운 두뇌 구조”입니다.

이 기술이 들어가면, AI는 단순히 말을 ‘지어내는 존재’에서
이제는 ‘찾고, 이해하고, 근거를 제시하는 존재’로 바뀝니다.
즉, 한 마리의 금붕어가 아니라 ―
수천 권의 책이 꽂힌 도서관 사서처럼 행동하기 시작하는 것이죠.

당신이 한마디만 던져도,
AI는 그 기억의 서재 속에서 책장을 넘깁니다.
“아, 지난번 당신이 물었던 그 주제는 여기 있었군요.”
그리고 자신만의 언어로 다시 설명해줍니다.

AI가 진짜 똑똑해지는 순간은, 바로 이때입니다.
기억을 가진 AI,
즉 RAG로 무장한 AI는 더 이상 금붕어가 아닙니다.
그건, 세상의 모든 지식을 스스로 탐험할 줄 아는 작은 철학자가 되는 일입니다.

29.1 RAG란 무엇인가 – AI에게 참고서를 쥐여주는 기술

AI는 기본적으로 “모르는 걸 잘 아는 척하는 존재”입니다.
모르면 모른다고 하지 않고,
그럴듯한 말로 빈칸을 메워버리죠.
그게 바로 우리가 흔히 말하는 AI의 ‘환각(hallucination)’입니다.

그런데 RAG는 이 문제를 근본적으로 바꿔놓습니다.
RAG는 Retrieval-Augmented Generation,
즉 “검색(Retrieval) + 생성(Generation)”의 결합 기술입니다.
말하자면,
AI가 스스로 책을 뒤져본 뒤 답하는 *‘참고서 기반 대화 방식’*이죠.

예를 들어볼까요?
당신이 AI에게 이렇게 묻습니다.

“2024년 노벨 물리학상은 누가 받았어?”

기존의 AI는 자신이 학습한 오래된 데이터만 뒤져서
‘대충 그럴 듯한 이름’을 뱉어낼 수 있습니다.
하지만 RAG 기반의 AI는 다릅니다.
실시간으로 외부 데이터베이스를 검색하고,
“가장 믿을 만한 문서”를 찾아 읽은 뒤,
그 내용을 바탕으로 대답합니다.

이건 마치 시험 볼 때 교과서를 열람할 수 있는 ‘오픈북 테스트’와 같습니다.
즉흥적으로 떠올리는 게 아니라,
“참고서를 본 뒤 정확하게 답하는” 방식이죠.

그래서 RAG는 단순히 ‘더 똑똑한 AI’가 아니라,
더 신중하고, 더 근거 있는 AI를 만듭니다.

요약하자면,

RAG = 검색 + 생성의 하모니.
AI가 이제는 혼자 상상하지 않고,
근거를 찾아보고 대답하는 ‘참조형 사고자’로 진화한 것입니다.

이제 AI는 책상 앞의 천재가 아니라,
책장 앞의 현자(賢者)가 됩니다.

29.2 청크(Chunk) – 책을 잘게 쪼개는 기술

AI는 책 한 권을 통째로 읽을 수 없습니다.
아무리 똑똑해도, 긴 문서를 한 번에 다루면 내용이 뒤섞이고 길을 잃죠.
그래서 RAG의 첫 단계는,
큰 문서를 AI가 이해하기 쉬운 ‘조각’으로 잘게 나누는 것,
그게 바로 청크(Chunk)입니다.

비유하자면,
긴 책 한 권이 커다란 피자 한 판이라면,
청크는 그걸 한입 크기로 잘라놓은 조각입니다.
피자를 통째로 베어 물면 입이 다칠 수도 있고, 맛을 느낄 새도 없지만,
한 조각씩 천천히 먹으면
맛도, 재료도, 조리법도 다 느껴지죠.
AI에게도 같은 원리가 적용됩니다.

실전 비유

전체 책 = 도서관 한 칸에 꽂힌 한 권의 책

청크 = 그 책의 페이지 몇 장
AI는 질문을 받으면,
도서관 전체를 다 읽지 않고
“지금 필요한 페이지 몇 장만 꺼내본 뒤” 대답합니다.
이게 바로 효율적인 기억 사용의 핵심이죠.

하지만 여기서 중요한 균형이 있습니다.

너무 잘게 쪼개면?
→ 문맥이 끊겨서, 앞뒤의 의미를 잃습니다.

너무 크게 묶으면?
→ 찾는 데 오래 걸리고, 정확도가 떨어집니다.

그래서 청크의 비밀은 “딱 한입 크기”입니다.
AI가 한 번에 읽고 이해할 만큼,
하지만 문맥은 유지될 만큼의 크기.

요약하자면,

청크는 AI에게 ‘한입 크기의 지식’을 제공하는 기술.
AI는 이제 책 한 권을 단숨에 삼키는 게 아니라,
조각조각 음미하며 정확하게 기억하고 말하는 독서가가 됩니다.

29.3 스키마(Schema) – 정보를 저장하는 틀

AI가 책을 한입 크기로 잘게 자르는 게 청크라면,
그 조각들을 어디에, 어떤 순서로, 어떤 기준으로 보관할지를 정하는 게 바로 스키마(Schema)입니다.

개념

스키마는 정보를 체계적으로 저장하는 틀입니다.
AI는 스스로 “이건 경제 이야기고, 저건 과학 기사야”라고 구분하지 못합니다.
그래서 사람이 미리 ‘이런 기준으로 분류해!’ 라고 틀을 짜줘야 하죠.
그 틀이 바로 스키마입니다.

비유 – 도서관의 책장 분류법

도서관을 떠올려볼까요?
책이 아무렇게나 쌓여 있다면,
“양자역학 책” 하나 찾는 데 하루 종일 걸릴 겁니다.

하지만 이렇게 분류되어 있다면 어떨까요?

주제별: 정치 / 경제 / 과학 / 문학

형식별: 논문 / 기사 / 인터뷰 / 수필

연도별: 2020 / 2021 / 2022 …

책을 찾는 속도는 단숨에 빨라집니다.
AI의 뇌 속에서도 같은 일이 일어납니다.
청크라는 조각들이 스키마라는 책장에 잘 꽂혀 있어야
필요한 정보가 “정확하고 빠르게” 꺼내지죠.

스키마의 힘

스키마가 정교할수록, AI의 기억은 체계적입니다.

스키마가 단순하면 → 기억은 있지만 찾지 못합니다.

스키마가 촘촘하면 → 기억이 살아 움직여 즉시 인용됩니다.

좋은 스키마는 결국,
AI의 머릿속에 ‘뇌 지도(Brain Map)’를 그려주는 일과 같습니다.