AI의 신뢰도를 높여주는 Citation
#Citation #Gen AI #Trusty
Generative AI UX Pattern의 두 번째 주제는 Citation(인용) 패턴입니다.
전통적으로 글쓰기에서 Citation은 글의 의미를 명확히 하거나 인용되는 글의 주장을 뒷받침하고 인용되는 글에 대한 직접적인 정보를 제공하는 경우에 사용되었습니다. 그렇다면, 생성형 인공지능(Generative AI)을 활용한 서비스에서 Citation 패턴을 사용하는 방법은 어떻게 될까요? Citation 패턴을 사용하는 이유는 무엇일까요?
Citation 패턴이란?
Citation 패턴은 AI에 의해 생성된 답변이 어떤 출처(뉴스 기사, 전문 서적, 인터넷 자료 등)에서 가져온 정보인지 알려주어 답변의 신뢰성을 높이는 역할을 합니다. 인용이 포함된 답변은 정보의 신뢰성을 보장할 뿐만 아니라, 사용자에게 원본 출처를 안내함으로써 인용된 제작자를 알려줘 윤리적 문제를 해결할 수 있습니다. 이를 통해 전문 지식수준과 관계없이 사용자는 신뢰할 수 있는 출처의 정보를 확인하고 주제에 대해 깊이 이해할 수 있습니다. 또한, 확실한 출처가 있으므로 환각(Hallucination)을 줄이는 데에도 도움이 됩니다.
*환각 현상 : AI(인공지능)가 맥락과 관련없거나 사실이 아닌 내용을 마치 옳은 답처럼 내놓는 현상
▲ 정확한 출처로 답변의 신뢰 향상(L사), 제작자 정보 제공으로 윤리적 문제 해결(Microsoft copilot)Citation 패턴의 유형
1. 답변 내용을 방해하지 않는 Footnote Citation
주로 기사나 논문에서 사용하는 유형으로 인용한 문장의 끝에 숫자나 밑줄을 표기한 뒤 답변의 하단에 같은 숫자 표기 후 자세한 출처 정보를 확인할 수 있습니다. 이 유형은 답변 내용의 흐름을 최소한으로 방해하여 집중도를 높이고, 출처 정보를 쉽게 확인할 수 있어 가장 많이 사용하는 유형입니다.
▲ Footnote Citation 예시 (Naver Cue, Microsoft Bingchat)2. 출처를 바로 확인할 수 있는 In-text Citation
기존 글쓰기의 In-text Citation과 다르게 인용한 문장의 끝에서 바로 답변의 출처 정보를 확인할 수 있습니다. 특히 이 유형은 사용자가 근거가 되는 데이터를 바로 확인하고 어디까지가 인용이고, 어디부터가 자기 생각인지 잘 구별할 수 있어 신뢰도를 높일 뿐만 아니라, 답변 관련 정보에 대한 접근성을 높입니다. 하지만 잦은 출처 정보 노출로 인해 답변 내용 흐름을 방해할 수 있습니다.
▲ In-text Citation 예시 (Google SGE, Google Bard)
3. 영역을 분리한 Panel Citation
출처 정보 영역을 별도로 확보하여 대화 영역을 방해하지 않습니다. Citation 영역에는 링크뿐만 아니라 출처 내용을 그대로 노출할 수 있으며, 추가 동작 없이 내용을 빠르고 정확하게 파악할 수 있습니다. 하지만 영역을 따로 확보하기 때문에 출처를 자세하게 확인할 필요가 없는 경우에는 불필요하게 느껴질 수 있습니다.
▲ Panel Citation 예시 (Cohere)
Citation 패턴의 한계와 개선 방향
Citation 패턴의 사용은 생성된 답변 내용의 신뢰성 구축에 크게 기여하지만, 한계점을 가지고 있습니다. 이러한 한계점은 사용자 경험에 영향을 미치며, 향후 개선 방향에 대한 고려가 필요합니다.
▲ 출처에 나오지 않은 사실을 사실처럼 답변 (Microsoft Bingchat)
1. 부정확한 출처 정보
Citation 패턴은 환각 현상을 줄이는 데 도움을 줍니다. 하지만 생성된 답변의 내용과 참조하는 Citation이 항상 맥락에 적절하게 일치하지 않을 수 있으며, 때로는 오류를 포함하거나 부정확한 정보를 참조할 수 있습니다. 이러한 경우 사용자가 제공된 정보를 잘못 해석하거나 잘못된 결론을 내릴 가능성을 증가시킵니다.
2. 전문성이 부족한 출처 정보
출처의 전문성이 부족한 경우, 생성된 답변의 신뢰성이 크게 떨어질 수 있습니다. 예를 들어, 블로그나 검증되지 않은 정보를 인용하는 경우, 답변의 질과 정확성이 의심받게 됩니다. 사용자가 출처의 적절성을 판단하는 것도 중요하지만 모든 사용자가 이를 쉽게 할 수 있는 것은 아니므로, 생성된 답변의 출처 선택 기준을 더 엄격하게 하는 것이 필요합니다.
3. 목적에 따라 바뀌지 않는 답변 패턴
사용자가 생성형 AI 서비스를 사용하는 목적은 다양합니다. 일부는 데이터에 근거한 많은 인용을 담은 정확한 답변을 선호하는 반면, 다른 사용자들은 적은 인용이더라도 창의적인 답변을 원합니다. 그러나 사용자가 인용의 양을 직접 선택할 수는 없으며, 같은 질문에 대해 인용의 양이 다른 다양한 답변을 받을 수 있습니다.
이러한 한계를 고려하여 Citation 패턴을 더욱 효율적으로 구성하는 개선 방향은 아래와 같습니다.
▲ 답변의 창의성의 정도를 사용자가 선택 (Microsoft Bingchat)
1. 사용자가 직접 선택하는 창의성의 정도
서비스가 다양한 요구를 인식하고 적절히 대응할 수 있는 능력은 사용자 경험을 크게 향상시킬 수 있습니다. 답변마다 다른 인용의 양을 개선하기위해 사용자가 원하는 방향을 직접 선택할 수 있도록 해 창의적인 아이디어를 제안하거나, 출처 정보에 기반한 더 구체적이고 실용적인 정보와 Citation을 제공할 수 있어야 합니다.
2. 검증된 Citation 제공
생성형 인공지능이 제공하는 정보의 정확성을 보장하려면 검증된 출처에서 가져와야 합니다. 이는 학술적 연구, 공인된 기관의 보고서, 업계 전문가의 의견 등 신뢰도 높은 출처의 데이터를 포함할 수 있습니다. 이를 통해 AI가 제공하는 정보의 정확성과 신뢰성을 높일 수 있습니다. 또한 단일 출처에 의존하기보다는 다양한 출처의 정보를 통합하고 분석하는 방법을 개발하는 것이 필요합니다. 이는 AI가 더 균형 잡힌 시각을 제공하고, 다양한 관점을 반영하는 데 도움이 될 것입니다.
▲ Citation 패턴 핵심 가치Citation 패턴은 생성형 AI를 활용한 서비스에서 중요한 역할을 합니다. 서비스가 제공하는 정보의 출처를 명확히 밝히는 과정을 통해 사용자가 답변 내용을 신뢰할 수 있도록 돕고 내용의 정확성을 높이는 데 기여합니다. 그러나 Citation 패턴은 아직 개선해야 할 여지가 있습니다. 현재의 시스템은 환각 현상을 줄이는 데 충분하지 않은 경우가 많으며, 때때로 전문성이 결여된 출처 정보를 제공하거나 창의성이 제한적일 수 있습니다. 이러한 문제를 해결하기 위해, 사용자가 상황에 따라 창의성의 수준을 선택할 수 있는 기능을 제공할 수 있습니다. 또한, 검증된 출처를 사용하여 정보의 정확성을 더욱 향상시키는 것도 필수적입니다. 이를 통해 AI 기반 서비스는 더 정확하고 신뢰할 수 있는 정보를 제공하며 사용자의 다양한 요구를 충족시킬 수 있습니다.
결론적으로, Citation 패턴은 생성된 답변의 투명성과 정확성을 높여 사용자에게 신뢰를 주고 생성형 AI를 활용한 서비스가 지속적인 개선과 발전을 통해 더욱 효과적인 서비스 제공을 가능하게 합니다.
그렇다면, BELLA QNA는 어떤 Citation 패턴을 제공할까요?
벨라 큐나는 기업의 데이터를 기반으로 답변을 생성하기 때문에 목적에 맞는 정확하고 신뢰할 수 있는 정보를 제공하고자 합니다. 이를 위해 2024년 3월 현재, 답변의 출처를 제공하며, 클릭 시 해당 답변의 출처 링크로 이동하여 더욱 자세한 정보를 확인할 수도 있습니다. 신뢰할 수 있는 정보를 제공하고 투명하게 전달하기 위해 지속적으로 개선해 나가고 있습니다.
▲ BELLA QNA 답변에 대한 출처 제공참고 자료
Balancing creativity and precision: Can generative AIs achieve both?
Don't build trust with AI, calibrate it
Google Bard Update Brings Topic Summaries and in-Line Source Attribution
Less Hallucinations and Better UX with Claim References
Pattern 11A: Local explanations
The Future of Work With AI - Microsoft March 2023 Event
Trends and Patterns for Creating a Custom LLM App
스켈터랩스 블로그에서 대화형 AI에 대해 더 알아보세요.
[생성형 인공지능 UX 패턴 시리즈]
