AI 앞에서 멈추는 사람들

프롬프트 심리학?

2024년 CHI 학회에서 마이크로소프트 리서치 팀이 발표한 논문의 제목이 인상적입니다. 'The Metacognitive Demands and Opportunities of Generative AI.' 생성형 AI가 사용자에게 부과하는 메타인지적 부담을 분석한 연구입니다. Tankelevitch 외 5명의 연구자는 AI를 잘 쓰는 것의 핵심이 프롬프트 문법이 아니라 자기 이해를 모니터링하는 능력, 즉 메타인지(Metacognition)에 있다고 주장했습니다.

이 논문을 읽으면서 생각한 것은 프롬프트 엔지니어링이라는 용어가 만들어낸 오해였습니다. '엔지니어링'이라는 단어가 붙는 순간, 사람들은 이것을 기술적 스킬로 분류합니다. 올바른 문법, 적절한 지시어, 효과적인 구조. 그런데 연구들이 가리키는 방향은 전혀 다릅니다.

유창함이 만드는 착각

2021년 IUI 학회에서 Chromik 외 연구자들은 인지심리학의 고전적 개념인 '설명 깊이의 착각(Illusion of Explanatory Depth)'을 AI 맥락에 적용했습니다. 사람은 어떤 현상을 유창하게 설명하는 텍스트를 읽으면, 자신이 그 현상을 실제로 이해했다고 착각합니다. AI의 출력은 거의 항상 유창합니다. 문법적으로 완벽하고, 논리적으로 정돈되어 있으며, 자신감 있는 어조로 제시됩니다. 이 유창함이 인지적 편안함을 만들고, 편안함은 이해의 착각으로 이어집니다.

문제는 이 착각이 후속 질문을 차단한다는 데 있습니다. 이해했다고 느끼는 사람은 더 물어볼 이유가 없습니다. Nielsen Norman Group의 분석에 따르면, 챗봇 인터페이스 자체가 이 경향을 강화합니다. 현재 답변을 검증하도록 유도하는 것이 아니라 다음 질문으로 밀어내는 구조이기 때문입니다.

2023년 CHI에서 Zamfirescu-Pereira 외 연구자들이 발표한 'Why Johnny Can't Prompt'는 비전문가가 프롬프트를 어떻게 만드는지 관찰한 연구입니다. 결과적으로, 체계적 탐색이 아니라 기회주의적 시도라는 결과가 나왔습니다. 되면 쓰고, 안 되면 포기합니다. 이 논문의 인용 수가 443회를 넘었다는 것은 이 현상이 보편적이라는 뜻이기도 합니다.

인지의 외주화