할루시네이션 원인과 대응방안

똑똑한 AI가 지어내는 그럴듯한 거짓말

AI 할루시네이션(hallucination: 환각)은 정확하지 않거나 사실이 아닌 조작된 정보를 생성하는 것을 의미합니다. AI는 알지도 못하면서 사실에 근거하지 않은 정보를 그럴듯하게 제공하고, 사람들은 의심없이 제공받는 정보를 그대로 믿게 되면서 이슈가 발생하게 됩니다.

?? 윤석열 대통령에 대한 잘못된 정보를 아무렇지 않게 전달하는 지피티

할루시네이션은 생성형 AI가 포함된 대규모 언어모델 LLM이 정교해짐에 따라 인공지능 모델이 부정확하거나 오해의 소지가 있는 결과를 생성할 가능성에 대한 우려와 함께 그 위험성이 커지고 있습니다. 할루시네이션은 AI 모델이 알려진 사실에 의해 지원되지 않는 출력을 생성할 때 발생합니다. 

그럼 이번 아티클에서는 할루시네이션은 왜 발생되고, 인간은 이에 어떻게 대응해야 하는지에 대해서 살펴보겠습니다.

할루시네이션의 원인

* 편향되거나 불충분한 학습 데이터: AI 모델은 액세스할 수 있는 데이터에 대한 제한된 이해를 바탕으로 할루시네이션을 일으킵니다. 학습자료로 사용되는 오픈 데이터에 섞인 편견과 잘못된 정보가 학습되면 할루시네이션이 발생할 위험이 커집니다.

* 과적합: AI 모델이 과적합되면(적은 표본 정보로 학습하여 잘못된 일반화가 일어나는 현상) 학습 데이터에는 구체적이고, 새 데이터에는 일반적이지 않은 출력을 생성하게 됩니다. 과적합은 할루시네이션을 일으키거나 관련 없는 출력을 생성하는 인공지능 모델로 이어질 수 있습니다.

* 맥락이해 부족: 맥락에 대한 이해가 부족한 인공지능 모델은 탈 맥락적이거나 관련 없는 결과를 생성하게 됩니다. (마치 대화에 중간에 낀 대화자가 맥락을 모르는 채로 이질적인 얘기를 하는 것처럼요)

* 제한된 도메인 지식: 도메인이나 작업을 위해 설계된 모델은 출력을 생성하는 데 필요한 지식이나 맥락이 부족하기 때문에 해당 도메인이나 작업 외부의 입력이 제공될 때 할루시네이션을 일으킬 수 있습니다. 이런 현상은 다른 언어를 제한적으로 이해할 때에도 발생합니다.

* 적대적 공격: 악의적인 행위자가 의도를 가지고 조작하는 경우에도 발생할 수 있습니다.

* 복잡한 모델 아키텍쳐: 레이어 또는 매개 변수가 많은 인공지능 모델은 복잡성 증가로 할루시네이션을 일으키는 경향이 높게 나타납니다.

이상의 원인을 살펴보면 할루시네이션은 학습 데이터의 부족, 편향 등으로 발생한다는 점을 알 수 있습니다. 2020년 논란된 스캐터 랩의 이루다 챗봇이 커뮤니티 상의 인종차별, 성적 비하 발언 등을 학습했기 때문에 유사한 발언을 할 수 있었던 것처럼, 잘못된 인풋으로 잘못된 아웃풋이 나오게 되는 것이죠. 그렇다면 어떻게 인풋 과정을 강화해야 할루시네이션을 예방할 수 있을까요?

?? 혐오발언을 하는 이루다

할루시네이션 해결방법

* 고품질 학습 데이터 제공: 다양한 학습데이터를 사용하여 AI 모델이 여러가지 상황과 시나리오에 노출되도록 하여 모델이 부정확하거나 오해 소지가 있는 결과를 생성하는 것을 방지할 수 있습니다.

* 자연어처리기술(NLP) 기반 문맥개선: 명명엔티티 인식 혹은 감정 분석과 같은 자연어처리 기술을 사용하여 모델 효율성을 향상시킬 수 있습니다. 질문의 맥락을 분석하고, 사용자의 이력이나 선호도 및 챗봇과의 과거 상호작용에 대한 추가 정보를 제공하여 맥락을 이해시킬 수 있고, 추가 정보 학습은 할루시네이션에 대한 위험을 최소화하면서 모델이 보다 정확하고 적절한 응답을 생성하는 데 도움을 줄 수 있습니다. 

자연어처리기술: Natural Language Processing, 자연어 텍스트 또는 음성으로 데이터를 상호연결하는 기술, 애플 Siri, 아마존 Alexa와 같은 가상 도우미에 사용되는 핵심기술로, 자연어 요청을 이해하고 자연어로 응답하는 기술

*RLHF을 통한 보상모델 개발: 사람의 도움을 받아 인간의 선호도와 피드백을 기반으로 보상 모델을 개발할 수 있습니다. 의사, 간호사 등 전문가가 모델 출력을 검토하고 출력이 정확한지 등에 대한 피드백을 제공하는 것입니다. 피드백을 통해 모델 동작의 정확도를 개선할 수 있으며, 이 과정에서는 모델이 질문에 "확실하게 대답할 수 없다"고 말하는 방법을 배우는 것도 포함됩니다. 언어학자는 모델의 문맥과 도메인 지식을 제공하여 전문 용어를 제공하고 더 관련성 높은 출력을 생성하도록 도울 수 있습니다. 전문가는 모델의 출력을 모니터링하여 부정확하거나 부적절한 응답에 플래그를 지정하여 시간이 지남에 따라 모델이 학습하고 개선하는 데 도움이 되는 수정 피드백을 제공하여 모델을 강화시킵니다.

RLHF(인간피드백 기반 강화학습, Reinforcement Learning with Human Feedback): 인공지능의 언어모델을 인간의 의도대로 얼라인하기 위해 생성된 여러 응답 간의 선호도 비교를 통해 피드백을 제공하는 것으로, 사람의 선호도에 더 잘 부합하는 응답을 생성하는 기법.

이를 통해 모델은 새로운 데이터와 피드백을 기반으로 지속적으로 업데이트되고 개선되어 정확하고 최신 상태를 유지할 수 있게 됩니다.

open AI의 RLHF 단계

하지만 위에서 언급된 해결방법도 할루시네이션에 대한 완벽한 대응이 되기는 어렵습니다. 대응을 하다보면 추가적으로 생기는 문제와 우려가 뒤따라오기 마련이니까요. 

할루시네이션 해결방법에 대한 잠재적 우려

*보수적인 모델 조정으로 인한 답변의 다양성 감소: 할루시네이션에 대한 우려로 통제를 강화하여 모델을 너무 보수적으로 조정하면 답변에 대한 정확성은 높아질 수 있지만, 반대로 답변의 다양성이 감소하여 사용자가 흥미를 잃을 수 있습니다.

*응답지연으로 인한 사용자 불만 발생: QA와 같은 품질관리팀 업무를 대체하기 위해 신속한 답변을 요구하면서 모델의 학습 데이터를 제한적으로 한정할 경우, 모든 응답에 추가적인 검증이나 정보 확인 절차가 부가적으로 요구되고, 실시간이 생명인 챗 대화에서 응답 지연을 초래해 사용자 불만이 발생할 수 있습니다.

*정보출처 표기를 통한 사용자 경험 악화: 할루시네이션에 대한 우려 증가와 함께 많은 기업들이 정보 출처를 병기한다며 대응하고 있는데, 사용자 입장에서는 추가적인 팩트 체크의 부담을 느낄 수 있어 부정적인 대화 경험이 축적될 수 있습니다.

이번 아티클에서는 작년 23년 우리를 가장 놀라게 한 기술, 생성형 AI의 할루시네이션의 원인과 해결방법, 잠재적 우려에 대해 알아보았습니다. 

요약해보면 "할루시네이션은 편향되거나 부족한 인풋의 문제로 발생하며, 이를 해결하기 위해 인풋 과정을 보수적으로 조정할 수 있습니다. 하지만 보수적인 모델이 되면서 우리를 놀라게 한 흥미로운 생성형 AI와는 거리가 멀어질 수 있다"로 정리할 수 있겠습니다. 그럼 다음 아티클에서 만나요!