brunch

You can make anything
by writing

C.S.Lewis

by 뤼튼테크놀로지스 Apr 27. 2023

“정답을 말하지 않는 GPT”…'환각 효과'의 위험성

‘ChatGPT’, 또는 ChatGPT를 이용한 여러 서비스는 때때로 그럴듯하게 들리지만 부정확하거나 무의미한 답변을 작성합니다. ‘AI니까 똑똑하겠지’라는 믿음으로 답을 신뢰했다가 큰 문제가 생길 수도 있습니다. AI라면 다 똑똑할 줄 알았는데 왜 틀린 답을 얘기하는 걸까요?

이 궁금증을 풀기 위해서는 먼저 ChatGPT에서 쓰이는 언어 모델인 ‘GPT(Generative Pre-trained Transformer)’ 기술에 관해 이해해야 합니다. GPT는 인공신경망 기반의 ‘언어 모델(Language Model, LM)’로 생성 AI의 폭발적인 관심을 이끈 ChatGPT의 핵심이 되는 기술입니다. 마치 사람과 메신저를 하는 것처럼 대화창에서 이야기를 주고받다 보면 없던 신뢰도 생길 정도입니다.

GPT가 마치 사람처럼 똑똑해 보이는 이유는 매개변수의 규모 때문입니다. 인공지능에게 매개변수는 인간의 뇌세포와 비슷합니다. 뇌세포가 많을수록 지능이 높듯이 매개변수가 많을수록 AI의 학습 지능이 더 높아집니다. 그래서 더 똑똑한 인공지능을 만들기 위해 매개변수 규모가 갈수록 커지고 있습니다.

오픈AI의 첫 언어 모델인 GPT-1의 매개변수는 고작 1억 1,000만 개였습니다. 그리고 이 매개변수는 GPT-2에서 15억 개로, 3에서 1,750억 개로 급격하게 늘어났습니다. 최근에 발표한 GPT-4의 매개변수가 정식 공개되지 않았지만, 업계 관계자들은 약 1조 개 정도를 보유했을 것으로 예상합니다. 매개변수가 일정 규모 이상이 되면서 이제 인공지능 언어 모델에 ‘대규모 언어 모델(Large Language Model, LLM)’이라는 이름도 붙었습니다. 그런데 대규모 언어 모델이 추구하는 건 ‘정답을 외워서 맞추는 것’이 아닌, ‘주어진 질문에 가장 정답일 확률이 높은 답변을 하는 것’입니다. 따라서 본질적으로 명확한 정답을 얻기 위해 ChatGPT에게 물어보는 건 잘못된 선택이 될 수 있습니다.

“제가 한 질문에는 잘 대답하던데요?”

사용자의 질문에 ChatGPT가 정답을 말한 것처럼 보이는 건, 정답처럼 말하기 위해 엄청난 데이터를 학습했기 때문입니다. 여기서 중요한 것은 **‘학습’**입니다. GPT에서 사용하는 인공신경망은 지식을 외워서 정답을 말하는 것이 아닌, 패턴을 외워서 일반화된 답을 말하도록 훈련합니다. 외우기는 과거에 이미 알려진 문제의 정답을 공부해 기억하는 것이고, 일반화는 아직 보지 못한 문제의 정답을 맞히는 능력입니다. 단지 ‘GPT-3, 3.5, 4’는 기존 언어 모델보다 훨씬 더 많은 용량을 이용해 일반화 패턴을 학습했기 때문에 정답에 가장 가까운 대답할 수 있는 것입니다.

이를 위해 오픈AI는 GPT에게 3가지 학습 훈련을 시켰습니다. 첫 번째는 '자기감독학습'입니다. 텍스트 훈련 데이터를 GPT에게 제공해 무조건 외우라고 시켰습니다. 대규모 인터넷 자료와 책을 외우게 했기 때문에 기본 비용만 약 100억 원 가까이 들었습니다. 두 번째로는 '감독학습'입니다. 첫 번째 학습을 끝낸 GPT에게 질문을 하면 텍스트를 통째로 외운 덕분에 마치 '내가 정답이야!'하는 것처럼 답변합니다.

하지만 아직 답이 엉터리인 경우가 많습니다. 따라서 데이터를 통째로 외운 GPT에게 사람인 감독관이 답을 가르쳐 주는 게 '감독학습'입니다. GPT-3에는 약 50명 정도의 감독관이 고용된 것으로 알려졌습니다. 마지막 세 번째는 '강화학습'입니다. 강화학습은 사람이 GPT가 만든 답을 보고 '좋은지 나쁜지'를 간단히 평가하는 방식입니다. 이를 통해 이상하거나 황당한 답변을 거르고, 사람들의 선호도가 높은 답을 만들도록 훈련합니다. (출처: 챗GPT는 어떻게 공부했나.. 3단계 학습법)

GPT-3가 사용자의 질문에 답변하는 과정. (출처: SK텔레콤)

이러한 과정을 거쳤기 때문에 특정 주제의 문서 초안을 작성하거나 시를 쓰는 등 GPT에게 새로운 결과물을 만들어내는 일은 그다지 어렵지 않습니다. 때로는 놀랄 정도로 사람과 유사한 결과물을 생성하기도 합니다. 하지만 정답이 명확한 질문이나 사칙연산에서는 틀릴 때가 종종 있습니다. 앞서 말한 것처럼 정답을 암기한 것이 아닌 정답인 것처럼 보이는 답변을 패턴화해서 빠르게 얘기하기 때문입니다. 가령, ‘555 곱하기 384는?’이라는 질문을 했을 때 마치 바로 계산한 것처럼 정답처럼 보이는 숫자를 빠르게 얘기합니다. 그러나 이는 ChatGPT가 추측해서 ‘정답인 것처럼 보이는 숫자’일 수도 있기 때문에 맞을 수도, 틀릴 수도 있습니다.

자신만만한 답변과 다르게 곱셈을 바로 틀린 ChatGPT. (출처: ChatGPT)

“허세 넘치는 거짓말쟁이, GPT”

무엇보다 GPT의 학습 데이터 대부분은 영어입니다. 따라서 비영어권 질문에 관해 잘못된 대답을 할 확률이 더 높습니다. 괜히 ‘세종대왕의 맥북프로 던짐 사건’이 GPT밈이 된 것이 아닙니다. GPT를 개발한 오픈AI 역시 여러 언론 보도를 통해 ‘최신 버전인 GPT-4에서도 부정확한 진술로부터 사실을 분리해내는 확률이 아직 60%에 못 미친다’라고 고백하기도 했습니다. 최소 잘못된 정답을 말할 확률이 최소 40%가 되는 겁니다.

더구나 사람은 잘 모르는 질문을 받으면 ‘그건 잘 모르지만…’이라면서 자신의 답변이 틀릴 수도 있다는 걸 말하지만, GPT는 틀린 답이라도 마치 정답인 것처럼 작성합니다. 심지어 가짜 인터넷 주소를 생성하기까지 합니다! 그래서 해당 질문에 관한 정보가 없으면 가짜 답변을 진짜처럼 믿는 경우가 생깁니다. 이는 앞서 얘기했듯이 ‘가장 그럴듯한 답변’을 보여주기 위해 학습됐기 때문입니다.

잘못된 정보를 마치 정답인 것처럼 답변하는 ChatGPT. (출처: 조선일보)

GPT의 답변을 믿을 수 없는 이유는 또 하나가 있습니다. GPT는 학습한 데이터에 따라 답을 얘기하는데, 만약 거짓된 데이터로 학습하면 당연히 결과물 역시 거짓일 수밖에 없습니다. 예를 들어 ‘독도는 일본땅’이라는 잘못된 데이터로 학습한 GPT는 우리에게 ‘독도는 다케시마라고 불리며, 일본땅입니다’라는 잘못된 답을 할 수밖에 없습니다. 알고 있는 게 잘못된 정보밖에 없기 때문입니다.

그렇다면 기술이 발달할수록 이런 환각 효과는 사라질까요? 아쉽게도 더 성능 좋은 생성 AI 기술이 등장하더라도 인공신경망 기반의 언어 모델을 계속 활용한다면 환각 효과와 같은 문제는 계속 생길 수밖에 없습니다. 학습 효과를 통해 AI에게 인간의 창의성과 상상력을 더했는데, 이를 없애면 AI의 상상력도 없어지기 때문입니다. ChatGPT가 마치 인간처럼 대화할 수 있는 성능으로 폭발적인 관심을 받은 걸 생각해 보면 환각 효과라는 사소한(?) 단점 때문에 인간의 창의력과 상상력을 학습한 장점을 포기하기는 어려울 것입니다. 결국, 이러한 한계는 AI가 인간을 닮아가며 생기는 자연스러운 부작용인 셈입니다.

아무리 똑똑한 사람이라도 틀린 답을 말할 수 있는 것처럼 ChatGPT 역시 답변이 틀릴 수 있습니다. 그래서 ChatGPT 관련 서비스를 이용하는 사람들은 채팅 속 AI가 ‘정답을 말하지 않는다’라는 사실을 꼭 명심해야 합니다. 아무리 알고 싶었던 답변처럼 보여도 말이죠.