RAG, 이제 AI는 '똑똑해'집니다.

환각을 넘어서는 도전, RAG

안녕하세요, 크립토노트입니다. 

LLM 언어모델을 기반으로 작동하는 AI 시스템은 우리 생활에 거대한 변화를 가져다줬지만, 대표적인 문제점 중 하나인 '환각(Hallucination)'은 여전히 큰 문제입니다. 지금은 많은 부분이 개선되었지만, GPT-3이 처음 등장했던 시기만 해도 진실이 아닌 이야기를 진실인 것처럼 말하는 ChatGPT의 사례가 여러 차례 기사화되기도 했었죠.

LLM의 환각, 조선왕조실록, 세종대왕 맥북 사건 

조선왕조실록에 기록되었다는 '세종대왕 맥북 사건' / 한국일보

이런 환각이 일어나는 대표적인 원인은 AI의 데이터 편향과 부족 문제입니다. LLM 모델들은 대부분 기존에 이미 있는 '데이터'를 바탕으로 엄청난 양을 학습한 결과물이기 때문에, 실제적으로 갖고 있는 정보는 그 데이터를 크게 벗어나기 힘듭니다. 그 과정 속에서 사용자가 만약 최신의 정보를 요구하는 질문을 한다면, 모델은 '모른다'라고 말하는 대신 관련 없는 정보를 억지로 '생성'하려고 하는 응답을 뱉어냅니다. 

그러나 최근에는 RAG(Retrieval-augemented generation), 검색 증강 기술로 인해 해당 환각이 점진적으로 해결되고 있습니다. 오늘은 RAG는 무엇이며, 기존의 검색과 어떻게 다를까에 대해서 이야기해도록 하겠습니다. 

RAG는 무엇인가요?

RAG는 LLM의 질을 높이고 조금 더 양질의 응답을 뱉게 만드는 AI 프레임워크입니다. 기존의 AI 검색이 갖고 있는 정적인 데이터를 기반으로 작동했다면, RAG는 외부의 데이터 소스를 이용하여 실시간적인 정보를 받아오고, 동적인 콘텐츠에 접근이 가능하죠. 

그렇기 때문에 RAG를 이용하게 된다면, LLM은 자신이 갖고 있는 데이터를 기반으로 정보나 응답을 생성했더라도, 그것에 대해서 외부의 데이터나 최신 정보를 바탕으로 정확도를 크로스 체크할 수 있습니다. 그뿐만 아니라, 외부의 데이터를 기반으로 RAG는 정보를 '생성'한다는 점이 가장 특징적이죠. 

RAG의 작동 방식

사용자가 이용자에게 특정한 질문을 하면, 우선적으로 해당 프롬프트와 쿼리를 바탕으로 핵심적인 내용을 뽑아내고, 추출된 정보를 기준으로, LLM에서 생성한 데이터 + 외부 데이터를 조합해 더 발전된 형태의 정보를 '생성'하는 것이죠.

금융에서 활용되는 RAG?

RAG의 활용처는 무궁무진합니다. 당장 LLM의 환각을 개선한다는 장점 외에도 다양한 장점이 존재하죠. RAG는 무궁무진한 곳에 적용할 수 있어요.

가장 대표적인 곳은 금융입니다. 

현재 금융은 AI와 가장 거리가 먼 분야 중 하나입니다. 그러나 KYC 인증이나 고객에게 맞춤형 개인화 컨설팅 등 AI가 개입될 영역은 무궁무진하죠. 망분리 문제와 같은 정부 규제 때문에 기본적으로 ChatGPT와 같은 생성형 AI에 접근조차 못한다는 문제점은 둘째 치고, 금융이 AI와 친밀하지 못한 가장 큰 이유는 따로 있습니다. 

금융은 '정확한 정보'만을 전달해야 하는 산업군이기 때문이죠.

금융은 데이터를 기반으로 작동하는 산업입니다. 0 하나 차이로 수많은 것이 달라지는 '돈이 오가는 세계'에서는 정확도가 가장 중요한 덕목입니다. 그렇기 때문에 이런 RAG 기술의 도입은 금융에서의 생성형 AI 적용에 있어 정확도를 혁신적으로 개선하고, 많은 변화를 가져다줄 것으로 보입니다.

최근 들어 정부에서 망분리 규제 완화를 암시하면서 금융위에서 회의를 개진하는 등, 여러 가지 변화가 지속되고 있습니다. 국내 금융회사들도 케케묵은 규제를 벗어던지고, RAG와 같은 AI 기술을 활용, 세계를 선도하는 금융사로의 변화를 지속할 수 있을까요?