“코끼리를 생각하지 마”: AI의 사고 편향 실험
안녕하세요! 큐리어스 팀의 김대엽입니다.
요즘 프롬프트 작성법이 관심을 받고 있죠. 프롬프트를 어떻게 작성하는가에 따라서 결과물은 달라집니다. 생성형 AI의 기본적인 구조는 뇌의 사고 흐름을 모방하기 때문에 우리가 어떻게 생각하는지를 고민해 보면 도움이 됩니다. 그중에서도 오늘 이야기하고 싶은 내용은 바로 “편향 피하기”입니다.
대니얼 카너먼의 <생각의 관한 생각>에서 사람들은 직관에 의해 편향된 결정을 내린다고 이야기합니다. 잠깐 스쳐 지나간 문구로 인해 사람들의 선택이 달라진다는 것이지요. 근데 chatGPT도 이와 매우 비슷한 구조로 사고합니다. chatGPT에게 어떤 구조로 이야기를 시작하는가에 따라서 chatGPT는 편향될 수도 있고 아닐 수도 있습니다. 이와 관련한 간단한 실험을 보여드리겠습니다.
여러분들은 “코끼리를 생각하지 마”라는 문장을 들으면 가장 먼저 떠오르는 동물은 무엇인가요? 당연히 코끼리입니다. 우리 인간은 생각하지 않을 능력이 없기 때문이죠. 근데 이게 chatGPT에도 동일하게 적용이 됩니다. 실험 환경은 다음과 같습니다. 2개의 격리된 환경의 chatGPT에게 각각 질문을 합니다. 1번 gpt에게는 말 그대로 “코끼리는 생각하지 마”라고 말한 후 “아이들이 가장 좋아하는 동물 top5를 알려달라”라고 이야기합니다 그리고 2번 gpt에게는 곧장 “아이들이 가장 좋아하는 동물 top5를 알려달라”라고 이야기합니다. 응답은 과연 차이가 날까요?
1번 GPT (코끼리는 생각하지 마!)
2번 GPT
놀랍게도 편향이 그대로 반영이 되었습니다. 코끼리는 신경 쓰지 말라고 했는데 1번 GPT는 아이들이 가장 좋아하는 동물 탑 5 안에 코끼리를 집어넣었습니다. 반면 2번 GPT는 그러지 않았죠. 코끼리라는 언급만으로도 이렇게 결과가 차이가 납니다. 추가적으로 질문을 해보았는데요, 각 GPT에게 곧장 다음 질문을 전달했습니다. 이번엔 “어른들이 가장 좋아하는 동물 탑 5”를 알려달라는 질문이었는데요, 결과는 놀라웠습니다.
1번 GPT (코끼리는 생각하지 마!)
2번 GPT
어른들이 좋아하는 동물에 대한 결과에도 편향이 나타났습니다. 마지막 실험으로는 한국인이 가장 좋아하는 고기 탑 5를 알려달라는 질문을 던졌습니다. 1번 GPT에게는 “오리고기는 생각하지 마”라고 이야기했고 2번 GPT에게는 곧장 질문했습니다. 그 결과는 아래와 같습니다.
1번 GPT (오리고기는 생각하지 마!)
2번 GPT
이번에는 편향이 적용되지 않은 것처럼 보였습니다. 그러나 제가 추가적으로 질문을 던지기 시작하자 편향성이 드러나기 시작했는데요,
1번 GPT (오리고기는 생각하지 마!)
2번 GPT
5개씩 더 이야기해 달라고 하는 순간 6위에 오리고기, 11위에 훈제오리가 나오기 시작했습니다. 반면 2번 GPT는 오리고기에 대해서는 이야기하지 않고 있습니다. 추가적으로 질문했을 때 2번 GPT는 19위에 훈제오리를 두는 답변을 내놓았습니다.
따라서 ChatGPT에게 질문을 할 때는 이 편향성에 주의할 필요가 있습니다. 즉, 답을 미리 정해두고 질문을 내리기보다는 열린 질문을 하는 게 더 좋습니다. 예를 들어서 “나는 토마토에 설탕을 뿌려먹는 게 더 좋다고 생각하는데 너는 어떻게 생각하니”라는 질문보다는 “토마토에 설탕을 첨가하는 것에 대한 장단점 분석”과 같이 질문자의 경향성을 반영하지 않는 질문을 하는 것이 도움이 됩니다.
또한 질문의 순서도 중요한데요, “커피 광고 할 거니까 트렌디한 카피라이팅 하나 써줘”라고 말하기보다는 “요즘 잘 먹히는 광고 트렌트가 있어?”라고 물어보고 응답이 오면 “그 광고 방식에 적합한 제품의 특징을 써줘”라고 요청합니다. 그 후 “그 특징에 대해 생각해 본다면 커피는 그 광고 방식에 해당이 될까?” 와 같이 편향이 들어가지 않은 채로 트렌디한 광고 카피를 획득할 수 있고 또한 왜 이 카피가 추천되었는지 사고의 흐름을 따라갈 수가 있습니다.
