퍼플렉시티는 다른 AI와 다릅니다

RAG, AI 비서에게 최신 자료 쥐여주기

1.
아무리 똑똑한 천재 달변가 AI라도 약점이 하나 있습니다. 바로 자기가 학습을 끝낸 시점까지만 기억한다는 건데요. 이미 만들어진 모델은 쓰기 때문이죠. 어제 발행된 뉴스나 우리 회사 내부의 최신 재고 현황 같은 건 아무리 물어봐도 모릅니다. 이때 필요한 기술이 바로 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다.

2.
RAG는 쉽게 말해 AI가 답변하기 직전에, 관련된 외부 문서(데이터베이스, 매뉴얼 등)를 먼저 '검색(Retrieval)'하고 그 내용을 참고해서 답변을 '생성(Generation)'하게 만드는 기술입니다. 질문을 받은 비서가 머릿속 지식으로만 답하지 않고, 구글을 검색해 확인한 뒤 답하는 것과 같죠.

3.
KLM 네덜란드 항공은 이 RAG 시스템을 아주 잘 활용하고 있습니다. 고객이 "내일 암스테르담행 비행기 수하물 규정이 뭐야?"라고 물으면, AI는 수시로 바뀌는 최신 규정집(PDF나 DB)을 빛의 속도로 먼저 검색합니다. 그다음 검색된 내용을 바탕으로 "오늘 날짜 규정에 따르면 23kg입니다"라고 답하죠. 매번 AI를 다시 학습(파인튜닝)시킬 필요 없이, 문서만 업데이트하면 되니 관리 비용이 획기적으로 줄어듭니다.

4.
신입 사원이 사내 챗봇에게 "경조사비 지급 기준이 뭐야?"라고 질문했을 때의 흐름을 보면 더 명확합니다. 먼저 시스템이 사내 규정 DB에서 관련 키워드가 포함된 문서를 찾아오고(Retrieval), 그 내용과 질문을 합쳐서 AI에게 전달합니다(Augmentation). 이걸 보고 답하라고 시키는 셈이져. 마지막으로 AI가 합쳐진 내용을 읽고 정확한 답변을 내놓는 구조(Generation)입니다. 이것이 바로 RAG. 참 쉽죠.

5.
RAG의 가장 큰 장점 중 하나는 "규정집 4페이지에 따르면 이렇습니다"라고 근거를 제시할 수 있다는 점입니다. AI가 마치 진짜인 것처럼 거짓말을 하는 할루시네이션(Hallucination, 환각 현상)을 방지하는 아주 강력한 무기인 셈이죠. 출처를 명확히 밝히는 AI를 보면 왠지 모를 신뢰감이 생기기도 합니다.

6
저도 예전에 AI가 너무 당당하게 가짜 정보를 말하는 바람에 당황했던 적이 있는데요. 개인주의가 강한 사회일 수록 걸음이 빨라지지 않을까 싶어서 검색해보니, 2002년에 대도시에서 동일한 현상을 연구한 결과가 있다고 하더라고요. 열심히 찾아도 원문을 못찾았는데 알고 보니 뻥이었습니다..

7.
RAG 개념을 알고 나니, AI의 지능(모델 사양)을 탓할 게 아니라 AI에게 줄 최신 데이터를 얼마나 잘 정리해두었는지가 더 중요하다는 걸 깨달았습니다. 결국 '똑똑한 뇌'보다 '정확한 자료'가 실무에서는 더 쓸모 있다는 점이 흥미롭더라고요.

8.
RAG 아키텍처와 친해지고 싶다면 '퍼플렉시티(Perplexity)' 같은 서비스를 꼭 써보시길 추천합니다. 답변마다 출처를 밝히는 전형적인 RAG 방식의 검색 엔진이라, "출처를 밝히는 AI의 논리"를 직접 체감하기 좋습니다. 저는 이미 퍼플렉시티의 브라우저 코멧을 쓰고 있답니다. 너무 좋아요.


[세 줄 이해]
- RAG는 검색(정보 찾기)과 생성(답변하기)을 결합한 기술이다.
- 파인튜닝보다 최신 정보 반영이 빠르고 비용이 저렴하다.
- 출처 제시가 가능하여 AI의 환각(거짓말) 문제를 해결하는 핵심 대안이다.