AI 챗봇 결과물의 정확도를 높이는 효과적인 방법
AI 챗봇이 때로는 hallucination을 일으키며 잘못된 정보를 제공하는 경우가 있다. 이는 완전히 막을 수는 없지만, 더 나은 결과물을 얻을 수 있는 방법들이 있다. BCG X의 CTO인 Matt Kropp에 따르면, AI hallucination의 원인은 두 가지다. 하나는 AI가 학습한 데이터에 충돌하거나 부정확한 정보가 포함된 경우이고, 다른 하나는 "우리가 원하는 바를 충분히 명확하게 지정하지 않았기 때문"이다. 후자는 우리가 개선할 수 있는 부분이다.
1. 구체적인 지시를 제공하라
AI에게 정확히 무엇을 원하는지 명확하게 알려주는 것이 중요하다. 프롬프트가 너무 모호하면 AI가 데이터베이스에서 자유롭게 검색할 여지를 주게 되고, 이는 오류나 조작된 정보로 응답할 가능성을 높인다.
Gartner의 기술 분석가 Darin Stewart는 "상세한 지시와 정확한 언어가 필요하지만, 모든 프롬프트가 질문과 직접 관련이 있도록 간결하게 유지하는 것도 중요합니다."라고 말한다.
최근 자동차를 구매할 때 AI에게 도움을 요청했더니, 관심 있는 SUV의 크기, 가격, 기능에 대한 유용한 비교 정보를 제공했다. 그러나 한 차량의 연비 수치가 지나치게 높게 나왔고, 자세히 살펴보니 AI가 미국에서 판매되지 않는 디젤 엔진 버전의 연비를 제공했다는 것을 알게 되었다. 이런 실수를 방지하기 위해서는 정보를 미국 모델 차량과 현재 시장에 있는 것으로 한정해달라고 AI에게 말했어야 했다.
2. 쿼리를 단계별로 구성하라
전문가들은 하나의 개방형 질문 대신 작고 직접적인 질문 형태로 쿼리를 구성하라고 조언한다. 이런 질문들을 반복적으로 하는 과정을 'iterative prompting'이라고 하며, AI가 거짓을 생성하는 것을 방지하고 더 유용한 결과를 얻을 수 있다.
"나는 AI 모델과의 상호작용을 일회성 질문과 답변이 아닌 대화로 생각합니다."라고 Kropp는 말한다. "맥락을 쌓아가는 것이죠."
예를 들어, 새 식기세척기를 구매하려면 단순히 "어떤 식기세척기를 사야 할까요?"라고 묻지 말고, "새 식기세척기가 필요합니다. 고려해야 할 주요 기능은 무엇인가요?"와 같이 시작하는 것이 좋다.
이러한 접근법은 기본적으로 꾸준히 질문을 던지며 AI의 생각을 이끌어내는 과정이다. 좋은 질문을 많이 던지는 사람들이 결국 합격을 이뤄내듯, AI에게도 명확한 질문을 단계적으로 제공하는 것이 더 정확한 답변을 얻는 방법이다.
3. 알려진 출처를 사용하도록 지시하라
AI에게 특정 유형의 출처를 사용하도록 지시하면 의심스럽거나 편향되거나 부정확한 자료를 사용하는 것을 방지할 수 있다.
자동차 검색 시 AI가 때로는 자동차 팬 웹사이트와 Reddit에 글을 쓴 무작위 사람들의 글을 인용했고, 이러한 답변 중 일부는 정보가 부족하거나 오해의 소지가 있거나 너무 좋게만 표현되어 있었다.
Johns Hopkins University 연구원들은 AI를 데이터베이스의 특정 출처 자료로 직접 보내는 방법을 발견했다. 일반적인 질문은 "According to Wikipedia, what is..."로, 건강 관련 질문은 "According to PubMed, tell me about..."로 시작하면 AI가 해당 출처에서 직접 인용하도록 촉구했다고 한다.
4. AI에게 거짓말하지 말라고 지시하라
일부 전문가들은 챗봇에게 확실하지 않은 경우 "모른다고 말하라" 또는 "답변을 만들어내지 말라"고 지시해야 한다고 말한다. 이는 AI가 데이터베이스에서 답변에 대한 증거가 불분명함에도 불구하고 응답을 조작하는 것을 방지할 수 있다.
"당신은 실제로 그것이 훈련되지 않은 일을 할 수 있는 허락을 주는 것입니다. 즉, '내가 틀렸다' 또는 '나는 모른다'라고 말하는 것이죠."라고 Kropp는 말한다.
5. 'meta-prompting'을 사용하라
또 다른 요령은 AI에게 질문을 작성하라고 하는 것이다. meta-prompting이라고 불리는 이 기술은 학생들에게 시험 문제를 작성하도록 요청하는 것과 같이 이상하게 들릴 수 있지만, 전문가들은 효과가 있다고 말한다.
OpenAI의 ChatGPT에 기상학적 질문에 대한 문구를 제공해달라고 요청했을 때, 샘플 질문에서 스스로가 전문가라고 말하는 페르소나 부여 기법을 사용했다. 연구에 따르면 이 방법은 응답의 품질을 높이고 오류를 줄일 수 있다.
6. "chain of thought" 프롬프팅을 사용하라
AI에게 질문에 논리적 단계로 분해하여 답하도록 지시하는 것도 방법이다. 'chain-of-thought prompting'이라고 불리는 이 기술은 Google 연구원들에 따르면 더 정확한 응답으로 이어질 수 있다. 또한 오류를 찾기 위해 AI의 사고 과정을 검토할 수 있다.
전문가들은 AI에게 취해야 할 단계의 샘플을 제공하는 등 chain-of-thought 추론을 안내하는 복잡한 방법을 고안했지만, 더 쉽지만 덜 효과적일 수 있는 기술은 문자 그대로 "Using chain of thought..." 또는 "Let's think about the answer step by step..."라는 말로 질문을 시작하는 것이다.
7. AI에게 자신의 작업을 재확인하도록 지시하라
또 다른 흥미로운 방법으로, AI에게 응답의 정확성에 대해 스스로 질문하도록 지시할 수 있다. 'chain of verification'이라고 불리는 이 기술은 Facebook의 모회사인 Meta의 과학자들이 개발한 것으로, hallucination을 줄일 수 있다.
이러한 접근법들은 팀 효율을 높이는 원칙과도 일맥상통한다. 100% 완벽한 것보다는 빠른 80%의 결과물이 더 유용할 때가 많고, 번뜩이는 아이디어보다는 꾸준함이 더 중요하다. AI를 효과적으로 활용하는 것도 결국 분석보다는 현장에 더 가까워지는 것, 그리고 비판보다는 해결책에 초점을 맞추는 것과 같은 원칙을 따르는 것이 중요하다.
결론적으로, AI 챗봇으로부터 더 정확한 정보를 얻기 위해서는 구체적인 지시를 제공하고, 질문을 단계별로 구성하며, 신뢰할 수 있는 출처를 사용하도록 지시하고, 확실하지 않은 경우 솔직하게 모른다고 말하도록 하며, meta-prompting과 chain-of-thought prompting을 활용하고, 마지막으로 자체 검증 과정을 통해 정확성을 높이는 방법을 적용해 볼 수 있다.
