by
Jun 30. 2024
오픈 북, LLM
RAG에 관하여
저는 AI를 활용한 서비스를 기획하고 있습니다.
구체적으로, ChatGPT와 같은 대형 언어 모델(LLM, Large Language Model)을 이용한 B2B 서비스를 만들고 있습니다. 저는 LLM을 직접 개발하거나 그 원천 기술을 이해하지는 못하지만, LLM을 활용하여 다양한 서비스를 제공할 수 있습니다. 이는 자동차를 제작하지는 못하지만, 자동차를 운전하여 여러 가지 일을 할 수 있는 것과 같습니다.
‘말을 이해한다, LLM’ 지난 글에 이어집니다. https://brunch.co.kr/@sjmsg/123
LLM은 사람의 말을 이해하고 답변할 수 있습니다. 이는 과거에는 없었던 기술적 진보입니다. 하지만 많은 사람들은 LLM의 답변이 항상 정확하지 않아서 믿을 수 없다고 합니다. 이러한 부정확한 답변을 '환각(hallucinations)'이라고 부릅니다.
사람도 질문에 답변을 하지만, 그 답변이 항상 사실에 근거하거나 옳은 것은 아닙니다. 그 이유는 사람마다 질문을 이해하는 수준과 방식, 답변을 위해 가지고 있는 정보, 지식, 그리고 경험이 다르기 때문입니다. 극단적인 예로, 두 국가가 전쟁 중일 때, 양국의 국민은 전쟁의 원인이 상대 국가에 있다고 믿고 자신의 국가가 정의롭다고 생각합니다. 이는 각 국가의 국민들이 서로 다른 정보, 지식, 그리고 경험을 가지고 있기 때문입니다. 흔히 친구들끼리 잘 통한다고 하는 것은 친구들 간에 유사한 정보와 경험을 공유하기 때문입니다.
저는 LLM이 사람의 질문에 부정확한 답변을 하는 이유 중 하나가 사람과 LLM이 가진 정보, 지식, 경험이 다르기 때문이라고 생각합니다. 우리는 LLM이 많은 정보를 가지고 있지만, 우리와는 다른 정보를 가질 수 있다는 점을 인정하고 사용해야 합니다.
기술적으로 LLM의 부정확한 답변을 완화할 수 있는 방법이 있습니다. 이는 LLM에게 '오픈 북'을 제공하는 것입니다. '오픈 북'이란 시험 중에 학생들이 교과서, 노트 또는 기타 참고자료를 사용할 수 있도록 허용된 시험입니다.
LLM에게 '오픈 북', 즉 '참고자료'를 제공하고 이를 기준으로 답변하도록 가이드할 수 있습니다. 이를 기술적으로는 RAG (Retrieval-Augmented Generation)라고 합니다. RAG는 LLM이 질문에 답변하기 전에 관련 정보를 검색하여 이를 활용하는 방식입니다. LLM이 오픈 북(RAG)을 참고하여 답변을 생성하면, 우리와 LLM은 동일한 정보와 지식을 공유하게 됩니다. 이 경우, LLM은 우리의 기대 수준에 더 가까운 답변을 하게 되어 '환각(hallucinations)'을 크게 완화할 수 있습니다. 물론, 오픈 북에도 한계가 있습니다. 세상의 모든 지식을 오픈 북으로 제공할 수는 없기 때문에 특정 주제와 범위에 한해서만 적용 가능합니다.
예를 들어, LLM에게 자동차 고장 수리 방법을 질문하면 답변이 부정확할 가능성이 높습니다. 그러나, 우리가 자동차 수리 매뉴얼을 LLM에게 오픈 북으로 제공한다면, LLM의 답변은 상당히 정확해질 것입니다.
다음은 LLM에게 오픈 북을 제공하여, 사용자의 질문에 답변하는 사례입니다.
- 국세청 자료 기반 세금 정보 https://tax.mirrordays.com/
- 베트남 책 기반의 정보 https://vie.mirrordays.com/
다음 편에 이어집니다.
RAG (Retrieval-Augmented Generation)
개념: RAG는 텍스트 생성 모델이 외부 정보를 검색하여 그 정보를 바탕으로 답변을 생성하는 방식
목적: 모델이 더 정확하고 신뢰할 수 있는 답변을 제공하도록 돕기 위해 최신 정보나 특정 데이터베이스에서 필요한 정보를 실시간으로 가져옵니다.
오픈 북 (Open Book)
개념: 시험이나 과제에서 학생들이 교과서, 노트, 또는 기타 참고 자료를 사용할 수 있도록 허용하는 방식
목적: 학생들이 암기한 내용을 재현하는 대신 자료를 찾아보고 이해하고 응용하는 능력을 평가합니다.
유사성
외부 정보 활용: RAG와 오픈 북 시험 모두 외부 정보를 활용하여 답변을 생성합니다.
정확성 향상: 외부 정보를 사용함으로써 답변의 정확성과 신뢰성을 높입니다.
정보 접근 능력: 두 방법 모두 정보에 접근하고 이를 효과적으로 사용하는 능력을 중시합니다.
