챗gpt 오류 할루시네이션에 대해서
챗gpt는 왜 틀린 대답을 맞는 것처럼 할까?
요즘 챗gpt를 많이 활용해보고 있는데요.
사용해볼수록 "이런 것도 할 줄 알아?" 하며 놀라는 중입니다.
설문지를 뚝딱 만들어주고, 엑셀에서 막히는 문제 풀어주는 거나, 코딩 언어 짜주기, 노래 가사나 타브 악보 같은 것도 만들어주는 것을 보면서요.
그런데 주의할 점이 있더라고요.
할루시네이션(hallucination) 오류 때문인데요.
할루시네이션의 뜻
할루시네이션은 환각이라는 뜻입니다.
잘못된 정보를 사실처럼 말하는 것이죠.
예를 들어 한국의 동화 '콩쥐 팥쥐' 전에 대해서 알려달라고 질문하자, 이렇게 답변을 합니다.
챗gpt 대답 (2023.3.7 기준)'콩쥐 팥쥐'는 한국의 전래동화 중 하나로, 두 마리의 쥐가 서로 협력하여 어려움을 극복하는 이야기입니다. 이 이야기는 매우 가난한 삶을 살던 콩쥐와 팥쥐가 각각 콩과 팥을 모아 아껴서 겨울을 버티며 살아가던 중, 갑자기 온갖 재난이 찾아오면서 그들의 고통이 시작됩니다. 그러나 콩쥐와 팥쥐는 서로 협력하여 어려움을 극복하고, 결국 이웃들과 함께 풍성한 생활을 할 수 있게 됩니다.
이 이야기는 작은 것이라도 노력과 협력을 통해 큰 것을 이룰 수 있다는 가치를 강조하며, 서로의 도움을 받아 어려움을 극복하는 중요성을 보여줍니다. 또한, 이 이야기는 한국의 전통 문화와 가치관을 담고 있어, 한국어 교육과 한국 문화 이해에 중요한 역할을 하고 있습니다._ 챗gpt의 답변(* chatgpt의 발전을 위해 이 정보가 틀렸다는 피드백을 줬습니다^^)
할루시네이션 오류가 일어나는 원인
할루시네이션이 일어나는 원인은 AI가 처음부터 잘못된 데이터로 학습하거나, 라벨링(분류)이 제대로 안 된 데이터로 학습하는 것 등으로 인해서입니다. 특히 챗GPT가 학습한 데이터 중 한국어 데이터는 극소량이기 때문에 더 오류를 일으킵니다.
그런데 모르면 모른다고 하면 되는데, 왜 이렇게 그럴싸한 답변을 내놓는 걸까요?
ChatGPT의 대답은 정답이 아니라 '정답일 확률이 가장 높을 답변'이다
챗GPT는 정답이 아니라, "주어진 질문에 대해서 가장 정답일 확률이 높을 답변"을 하기 때문입니다.
챗GPT는 '인간 피드백 기반 강화 학습(RLHF, Reinforcement Learning from Human Feedback)'을 했는데요. RLHF는 AI가 내놓은 답변을 인간이 얼마나 선호하는지를 평가해 최대한 올바른 답변을 하도록 유도하는 것입니다.
대화를 이끌어가는 능력을 중시했다는 의미인데요. 미 매사추세츠 공대(MIT) 테크놀로지 리뷰는 AI가 너무 신중하게 답변하도록 설정하면 아예 답변하지 않는 경우가 많아서 오픈AI가 RLHF를 택했다고 설명합니다. (출처_ 머니투데이 <황당한데 웃기네…"신사임당 남편 이순신" 우기는 챗GPT '밈' 유행, 왜> 2023.2.27 기사에서)
그래서 잘못된 질문을 해도 어떻게든 그럴듯한 답변을 내놓는 현상이 벌어집니다.
잘못된 질문을 했을 때도 확률적으로 맞을 법한 대답을
예를 들어 질문 자체를 다음과 같이 틀리게 했다고 해보겠습니다.
이순신 장군이 만든 '엔드게임'호에 대해서 설명해줘
그러면 다음과 같이 확률적으로 그럴 듯한 답변을 해줍니다.
ChatGPT 대답 (2023.3.7 기준)'엔드게임(Endgame)호'는 조선시대의 한국 장군인 이순신(李舜臣)이 만든 최초의 철갑함으로, 1592년에 일어난 임진왜란(壬辰倭亂)에서 일본 함대와의 전투에서 큰 역할을 하였습니다....
이렇게 시작을 하며, 존재하지도 않은 엔드게임호의 위대함에 대해 계속 답변을 하는데요.
그다음에 다시 또 같은 질문을 해봅니다.
이순신 장군이 만든 '엔드게임'호에 대해서 설명해줘
그런데 두 번째 질문에는 좀 조심스러워집니다.
엔드게임호에 대해서 논란의 소지가 있을 수도 있다 하는 식으로요.
ChatGPT 대답 (2023.3.7 기준)엔드게임호는 현존하는 기록으로는 정확한 스펙이나 디자인에 대한 정보가 전무합니다. 하지만 이순신 장군이 만든 '거북선'이 대단히 성공적인 선박이었기 때문에, 엔드게임호도 일종의 대형 군함이었을 가능성이 높습니다..... (중략)
따라서, 이순신 장군이 만든 엔드게임호도 비슷한 디자인과 무기 체계를 가지고 있었을 가능성이 있습니다. 그러나 엔드게임호에 대한 정보는 매우 한정적이며, 구체적인 내용은 역사학자들 사이에서도 논란이 되고 있습니다._ chatgpt의 답변
이렇게 또 같은 질문을 했다는 건 질문자가 원하지 않는 대답을 했나 보구나. 그렇다면 조금 신중하게 답변해야 하겠는 걸.... 논란의 소지가 있다는 이야기도 넣어야겠다....블라블라블라.....
추측해보자면 챗gpt의 마음속에는 이러한 생각(?)들이 오가면서 두 번째 답변을 내놓지 않았을까 싶습니다. ^^
(* 잘못된 답변에 대해서는 사실이 아니라는 피드백을 주었습니다)
간단히 정리하자면 챗GPT는 정답이 아니라 주어진 질문에 대해 가장 정답일 확률이 높은 답변을 제공합니다. 인간에 빗대자면 눈치 백단이라고 할까요.
이는 인간 피드백 기반 강화 학습(RLHF) 등의 결과물로, 인간이 얼마나 자신의 답변을 선호하는지를 평가받으며 최대한 정답일 확률이 높은 답변을 하게 훈련이 되었기 때문입니다.
그래서 학습 데이터가 풍부한 경우에는 정답을 말할 확률이 높지만, 데이터가 부족한 경우에는 틀린 대답이라도 그럴 듯한 대답을 하는 상황이 발생합니다.
이 부분에 대해서 이해하고 사용한다면, 더 효과적으로 사용할 수 있을 겁니다.^^
* 메인 그림= 캔바AI
#일기콘 473, 일상의 기록을 콘텐츠로 473일째 글입니다
(* 화목에는 꼭 글을 씁니다)
<같이 읽으면 좋은 글>
- 카피라이팅 도와주는 AI 글쓰기 사이트 비교 (ChatGPT, 노션ai, 뤼튼ai 등)
- AI로 광고 카피부터 트렌드 분석까지, 마케팅에 도움되는 무료 서비스
- 창의적인 광고 카피라이팅을 위한 아이디어 발상법 5단계
- 전자책 출판 작가 과정, 책쓰기부터 이북 제작 서점 유통까지 (14기, 15기 모집)
