친구가 묻는다. "그 영화 뭐였지? 감독이 누구더라, 그 사람… 전에 흑백 영화 찍었던…" 머릿속을 뒤진다. 안 나온다. 분명 알고 있었는데. 혀끝까지 올라왔다가 사라진다.
5초 후, 폰을 꺼내 검색한다. "아, 노아 바움백." 즉시 모든 게 연결된다. 맞아, 결혼 이야기, 스칼렛 요한슨, 넷플릭스. 검색 한 번에 기억의 퍼즐이 완성된다.
이 5초 동안 일어난 일이 중요하다. 당신은 '몰랐던 것'을 찾은 게 아니다. 알고 있었지만 꺼내지 못했던 것을 외부 도구로 검색해서 꺼낸 것이다. 기억력의 문제가 아니라 검색력의 문제였다.
AI에는 RAG(Retrieval-Augmented Generation)라는 기술이 있다.
이름이 길지만 원리는 직관적이다. 언어 모델이 답을 생성하기 전에, 먼저 관련 문서를 검색한다. 검색된 문서를 읽고 나서야 답변을 만든다.
왜 이런 게 필요할까? 언어 모델의 지식은 학습 시점에 고정된다. 2024년에 학습한 모델은 2025년에 무슨 일이 일어났는지 모른다. 그리고 세상의 모든 정보를 모델 안에 넣는 건 불가능하다. 파라미터 수를 아무리 늘려도, 어제 올라온 논문, 오늘 바뀐 법률, 방금 업데이트된 매뉴얼은 모델 안에 없다.
RAG는 이 한계를 우회한다. 모든 것을 기억하는 대신, 필요할 때 찾는다. 모델의 내부 지식과 외부 검색 결과를 결합해서 답을 만든다. 기억의 용량이 아니라 검색의 정확도가 성능을 결정한다.
학교에서 우리는 기억하는 사람이 똑똑한 사람이라고 배웠다.
시험은 닫힌 책으로 치렀다. 교과서를 보면 안 됐고, 노트를 보면 안 됐고, 옆 사람에게 물으면 부정행위였다. 머릿속에 얼마나 많이 넣어두었느냐가 점수를 결정했다. 그래서 우리는 기억력이 좋은 사람을 부러워했고, 기억력이 나쁜 자신을 탓했다.
그런데 사회에 나와보니 다르다.
회의 중에 "잠깐, 확인해볼게요" 하고 노트북을 여는 사람이 "기억으로는 아마…" 하는 사람보다 신뢰를 얻는다. 의사가 진료실에서 약물 상호작용을 검색하는 것은 무능이 아니라 책임감이다. 변호사가 판례를 외우는 것보다 정확한 판례를 빠르게 찾는 것이 더 중요하다.
실전에서는 열린 책 시험이다. 항상.
RAG의 핵심 구조는 세 단계다.
첫째, 질문을 받는다. 둘째, 질문과 관련된 문서를 검색한다. 셋째, 검색된 문서를 참고하여 답변을 생성한다.
사람에게 적용하면 이렇다.
첫째, 문제를 만난다. "이 계약서 조건이 합리적인가?" 둘째, 관련 정보를 찾는다. 비슷한 계약 사례, 법률 조항, 업계 관행. 셋째, 찾은 정보를 바탕으로 판단한다.
당연한 것 같지만, 사람들은 놀라울 정도로 자주 두 번째 단계를 건너뛴다. 질문을 받으면 바로 답을 생성한다. 검색 없이. 이미 아는 것만으로. 16장에서 다룬 할루시네이션이 여기서 시작된다.
"다 알 필요 없다"는 말은 흔하다. 하지만 실천하는 사람은 드물다.
왜냐하면 '모르는 것'을 인정하는 데 비용이 들기 때문이다. 사회적 비용. 회의에서 "모르겠습니다"라고 말하면 무능해 보인다. 대화에서 "찾아볼게"라고 하면 준비가 안 된 것처럼 보인다. 그래서 아는 척을 한다. 불완전한 내부 지식으로 답을 생성한다. 할루시네이션의 사회적 원인이다.
RAG 방식의 사람은 다르게 행동한다.
"그건 확인해봐야 정확할 것 같아요." 이 한 문장이 할루시네이션을 차단한다. 그리고 실제로 확인한 뒤 돌아오면, 신뢰는 깎이지 않는다. 오히려 올라간다. "이 사람은 모르면 모른다고 하고, 확인해서 알려주는 사람이구나."
무지를 인정하는 비용보다, 잘못된 확신의 비용이 항상 크다.
좋은 RAG 시스템과 나쁜 RAG 시스템의 차이는 검색의 질에 있다.
아무 문서나 가져오면 소용없다. 질문과 관련 없는 문서를 참고하면 오히려 답이 틀어진다. 핵심은 '어디서 찾느냐'와 '무엇을 가져오느냐'다.
사람도 마찬가지다. 검색 능력에는 층위가 있다.
1단계: 검색하지 않는다. 기억에만 의존한다.
2단계: 검색은 하되, 첫 번째 결과를 그대로 믿는다.
3단계: 여러 소스를 비교하고, 신뢰도를 평가한다.
4단계: 어떤 소스가 이 질문에 적합한지 미리 안다. 의학 질문은 논문 DB에서, 법률 질문은 판례 검색에서, 트렌드는 업계 리포트에서.
대부분 2단계에 머문다. 구글 첫 페이지, 유튜브 첫 번째 영상, 지인 중 가장 먼저 떠오르는 사람. 검색을 하긴 하지만 검색을 잘 하지는 않는다.
기억해야 할 것과 검색해야 할 것을 구분하는 기준이 있다.
자주 쓰고, 빠르게 꺼내야 하고, 맥락 없이도 의미가 통하는 것 — 이건 기억한다. 자기 이름, 집 주소, 모국어 문법, 직업의 핵심 원리.
가끔 쓰고, 정확도가 중요하고, 시간이 지나면 바뀌는 것 — 이건 검색한다. 세금 공제 조건, 약 복용량, API 문서, 특정 사건의 날짜.
문제는 많은 사람이 이 경계를 반대로 설정한다는 거다. 검색하면 될 것을 외우려 하고(수도 이름, 역사 연도), 기억해야 할 것을 방치한다(자신의 가치관, 반복되는 실수 패턴).
AI 엔지니어의 용어로 말하면, 파라미터에 넣을 것과 외부 DB에 둘 것을 구분하는 것이다. 모든 것을 파라미터에 넣으면 모델이 비대해지고 업데이트가 어렵다. 모든 것을 외부에 두면 응답이 느리고 맥락이 끊긴다. 균형이 필요하다.
한 가지 더. RAG에서 가장 과소평가되는 단계가 있다. 검색 결과를 '읽는' 단계다.
AI는 검색된 문서를 전부 처리한다. 하지만 사람은 그렇지 않다. 링크를 열어놓고 제목만 본다. 논문 초록만 읽고 결론을 내린다. 기사의 헤드라인만 보고 공유한다.
검색했다는 사실 자체가 정확성을 보장하지 않는다. 찾은 것을 제대로 읽고, 소화하고, 맥락에 맞게 적용하는 과정이 빠지면 — 검색하지 않은 것과 같다.
"찾아봤는데"라는 말 뒤에 정말로 읽었느냐를 물어보면, 대답이 흐려지는 경우가 많다.
기억력을 자랑하는 시대는 끝났다. 스마트폰이 나온 순간 끝났다.
지금 경쟁력은 세 가지다. 무엇을 검색해야 하는지 아는 것. 어디서 검색해야 하는지 아는 것. 검색 결과를 판단할 수 있는 것.
다 기억하지 말라. 찾을 줄 알면 된다. 단, 찾은 것을 읽을 줄도 알아야 한다.
"교육이란 사실을 배우는 것이 아니라, 생각하는 훈련이다." — 알베르트 아인슈타인