AI 할루시네이션과 기업의 신뢰
그리고 우리가 놓치고 있는 것들
Why Amazon is Betting on ‘Automated Reasoning’ to Reduce AI’s Hallucinations
By Belle Lin
Feb. 5, 2025 7:00 am ET
최근 아마존이 AI 할루시네이션 문제를 해결하기 위해 '자동 추론(Automated Reasoning)'이라는 기술에 베팅하고 있다는 기사를 읽었다. 개인적으로 AI 도구를 업무에 활용하면서 느꼈던 답답함들이 떠올라서, 몇 가지 생각을 정리해보고 싶었다.
1. 문제는 기술이 아니라 신뢰였다
아마존이 이 기술에 투자하는 이유가 명확하다. 기업들이 AI를 도입하고 싶어하지만, 정작 중요한 결정을 AI에게 맡기기는 두려워한다는 것이다. 나도 업무에서 ChatGPT나 Claude를 쓸 때, 결과물을 그대로 쓰기보다는 항상 한 번 더 검토하게 된다. '혹시 틀린 정보는 아닐까?' 하는 의심이 항상 따라붙기 때문이다.
기사에서 언급한 것처럼, CIO들이 핵심 비즈니스 결정을 AI에게 맡길 수 없다고 하는 것도 같은 맥락이다. 기술적으로는 놀라울 정도로 발전했지만, 신뢰성 측면에서는 아직 부족하다는 인식이 강하다.
2. 수학으로 증명한다는 접근이 흥미롭다
아마존의 자동 추론 기술은 2000년 역사를 가진 수학적 논리학에 기반한다고 한다. 소크라테스와 플라톤 시대부터 내려온 논리학을 현대 AI에 접목시킨다는 발상이 인상적이다.
사실 우리가 AI에게 기대하는 것도 이런 것 아닌가? '네가 이렇게 답변하는 근거가 뭔데?'라는 질문에 명확하게 답할 수 있는 AI 말이다. 지금까지의 AI는 그럴듯한 답을 주지만, 왜 그런 답을 주는지에 대한 설명은 부족했다.
3. 완벽한 해결책은 없다는 솔직함
기사에서 아마존 연구진이 "우리는 이 문제를 100% 해결할 수는 없다"고 인정한 부분이 오히려 신뢰가 갔다. 기술 회사들이 보통 자신들의 솔루션이 만능인 것처럼 마케팅하는 것과는 다른 접근이다.
실제로 자동 추론도 명확한 정책이나 규칙이 정의된 영역에서만 효과적이라고 한다. 제약회사의 마케팅 규정이나 내부 직원 복리후생 가이드라인 같은 것들 말이다. 모든 영역에 적용될 수는 없지만, 적어도 특정 영역에서는 확실한 보장을 해주겠다는 것이다.
4. 기업들이 정말 원하는 것
PwC 사례를 보면, 규제가 까다로운 산업에서 AI를 쓸 때 가장 걱정되는 것이 무엇인지 알 수 있다. 신약 마케팅에서 AI가 광고 효과는 높이지만 규제 요건은 무시하는 콘텐츠를 만들어낼 수 있다는 우려다.
결국 기업들이 원하는 것은 '좋은 결과'가 아니라 '안전한 결과'인 셈이다. 혁신적이고 창의적인 AI보다는, 예측 가능하고 통제 가능한 AI를 원한다는 뜻이기도 하다.
5. 앞으로 AI 도구를 선택할 때 고려할 점
이 기사를 보며 깨달은 것은, 앞으로 AI 도구를 선택할 때 '얼마나 똑똑한가'보다는 '얼마나 신뢰할 수 있는가'가 더 중요한 기준이 될 것 같다는 점이다.
특히 업무에서 AI를 활용할 때는 여러 기법을 조합해서 써야 한다는 것도 배웠다. 자동 추론만으로는 부족하고, RAG(검색 증강 생성)나 파인튜닝 같은 다른 방법들과 함께 써야 한다는 것이다.
개인적으로는 AI 도구를 쓸 때 항상 '이 답변의 근거가 뭘까?'를 의식적으로 물어보는 습관을 기르는 게 중요하다고 생각한다. 도구가 발전하는 속도만큼이나, 우리가 도구를 비판적으로 바라보는 안목도 함께 기르는 것이 필요하다.
AI 할루시네이션문제가 완전히 해결되는 날이 올지는 모르겠지만, 적어도 우리가 AI와 더 나은 방식으로 협업할 수 있는 방향으로는 계속 발전하고 있는 것 같다. 그리고 그 과정에서 가장 중요한 것은 역시 '신뢰'인 것 같다.
