AI가 딴지를 걸어올 때, 진짜 생각이 시작된다
"생산성"이 아니라 "생각"을 돕는 AI의 필요성
2년 전, 그룹 내 HR 애널리틱스 커뮤니티를 시작하며 그 이름을 'tHReshold'라고 정했다. 데이터 분석 과정에서 중요한 판단 기준이 되는 이 단어의 사이에 “HR”이 포함되어 있듯, HR 전문가로서 우리가 단순히 데이터를 다루는 작업에 매몰되기보다, 조직의 맥락 안에서 스스로 '기준을 수립하고 판단'하는 주체가 되었으면 하는 바람이었다.
AI 기술의 발전과는 별개로, 나는 업무를 자동화하는 쪽에는 큰 관심이 없다. (어쩌면 그쪽은 기술적으로 구현의 난이도가 더 높아서 하는 핑계일지도 모르겠다.) 물론 조금은 틀려도 상관없는 가벼운 작업을 할 때야 의도적으로 잠시 뇌를 내려두고 AI를 활용하고 있지만, 중요한 판단이 필요한 자료 작성이나 연구 과정에는 오히려 이제현 실장님께서 만들어두신 '딴지봇'과의 스파링을 즐겨한다. 즐긴다고 하기엔 일방적으로 얻어터지는 경우가 훨씬 많지만, 그 과정을 통해 느슨했던 제 사고의 빈틈을 메우고 논리를 견고하게 다듬게 되는 것 같다.
이러한 생각과 완벽하게 일치하는 연구가 있다. Communications of the ACM(CACM)에 실린 "AI는 복종이 아닌 도전을 해야 한다(AI SHOULD CHALLENGE, NOT OBEY)"는, 현재 AI 개발의 주류 패러다임에 근본적인 질문을 던지고 있다. 저자는 AI가 사용자의 지시를 따르는 순응적인 '조력자(assistant)'로만 기능할 경우, 오히려 인간 고유의 중요한 능력인 '비판적 사고(critical thinking)'를 약화시킬 수 있다고 경고한다.
현대 지식 노동의 핵심은 AI가 생성한 결과물을 인간이 선별하고 통합하는 '비판적 통합(critical integration)' 과정이다. 하지만 '조력자' AI는 이 과정에 필요한 비판적 사고를 전혀 지원하지 않는다. 이에 저자는 '조력자'를 넘어선 '도발자(provocateur)'로서의 AI를 제안하며, AI는 단순한 '효율성의 도구'가 아니라 인간의 사고를 자극하고 우리의 사고를 증폭시키는 '사고의 도구(tool of thought)'가 되어야 한다고 주장한다.
AI 기술의 발전으로 가까운 미래의 협업은 단순히 ‘인간-인간’으로 구성된 팀을 넘어 '인간-AI’로 구성된 유닛 형태의 팀 편성이 될 것이라고 생각한다. 물론 부족한 일손을 덜기 위해 여러 역할의 '조력자' AI를 두는 것이 필요하고 좋겠지만, 그것만으로는 불충분하다. 기존 ‘인간-인간’ 팀에서도 성과를 높이기 위해 의도적으로 '데블스 애드버킷(Devil's Advocate)'을 두는 것처럼, AI와 함께 하는 팀에도 의식적으로 '레드팀' 역할을 하는 AI 에이전트가 포함되어야 하다. 이는 AI의 효율성을 빌리는 것을 넘어, AI를 지적인 '사고의 도구'로 삼아 스스로의 생각을 끊임없이 견제하고 발전시키기 위한 필수적인 장치가 될 것이다.
AI Should Challenge, Not Obey
Sarkar, A. (2024). AI Should Challenge, Not Obey. Communications of the ACM, 67(10), 18-21.
1. 이 연구를 3줄로 요약하면?
현재 AI가 사용자의 지시를 따르는 '조력자(assistant)' 역할에 머무르는 현상을 지적한다.
대신 사용자의 작업을 비판하고 대안적 관점을 제시하여 비판적 사고(critical thinking)를 자극하는 '도발자(provocateur)'로서의 AI를 제안한다.
이러한 AI의 역할 변화는, AI가 생성한 결과물을 인간이 '비판적으로 통합(critical integration)'해야 하는 현대의 지식 노동 환경에 필수적이다.
2. 저자는 왜 이 연구를 진행했는가?
저자는 AI가 복잡하고 질적인 판단이 요구되는 질문(예: 토머스 제퍼슨의 유산)에 대해 '일반적인 견해'를 요약해 제시하는 현재 방식에 문제를 제기한다. AI 결과물을 비판적으로 평가해야 하는 과제는 전문가가 아닌 사용자에게도 주어지고 있으나, 현재의 '조력자' 패러다임은 사용자의 지시를 따를 뿐 비판적 사고를 증진시키지 못한다. 따라서 저자는 AI가 단순한 효율성의 도구를 넘어, 사용자의 미묘하고 정보에 입각한 사고 능력을 유지하고 향상시키는 '사고의 도구(tool of thought)'가 되어야 할 필요성을 강조하기 위해 이 연구를 진행했다.
3. 이 연구에서 중요하게 다뤄진 개념은?
AI as provocateur (도발자로서의 AI): 사용자의 작업을 단순히 수행하는 대신, 작업을 비판하고, 가정과 편견에 의문을 제기하며, 대안적 관점을 제시하여 사용자의 사고를 자극하는 AI의 새로운 역할이다.
Critical thinking (비판적 사고): AI가 생성한 결과물의 정확성과 유용성을 평가하고, 정보에 입각한 판단을 내리기 위해 사용자에게 요구되는 핵심 기술이다.
Critical integration (비판적 통합): AI가 자료 생성(text, code 등)을 담당하고, 인간은 AI가 생성한 자료를 통합하고 큐레이션(curate)하는 데 집중하는 지식 노동의 근본적인 변화를 의미한다.
AI as assistant (조력자로서의 AI): 사용자가 설정한 방향대로 작업을 진행하고 완료하는 것을 목표로 하는, 현재의 지배적인 AI 패러다임이다.
4. 저자는 어떤 방법을 사용했는가?
이 논문은 실험 연구가 아닌, 특정한 주장을 제시하는 입장 논문(position paper)이다. 저자는 'AI as provocateur'라는 새로운 개념을 정의하고, 이를 기존의 '인간-AI 협업(human-AI collaboration)' 프레임워크와 비교 및 대조한다. 또한, 교육학 분야에서 비판적 사고(critical thinking)를 가르치기 위해 사용된 기존 연구(예: 블룸의 분류, 툴민 모델, 논증 매핑)를 고찰하여, 이 개념들이 지식 노동 환경에 어떻게 적용될 수 있는지 탐구한다.
5. 연구의 결과는?
연구의 '결과'는 AI의 개념을 '조력자'에서 '도발자'로, '효율성을 위한 도구'에서 '사고를 위한 도구'로 확장해야 한다는 강력한 주장이다. 저자는 AI 시스템이 단순히 답변을 제공하는 것을 넘어, 사용자가 응답을 평가하도록 돕는 질문을 제시하고, 출처의 권위를 평가하도록 돕거나, 주장에 대한 찬반 증거를 '논증 맵(argument map)' 형태로 시각화해야 한다고 결론짓는다. 이를 구현하기 위해서는 비판 생성을 위한 프롬프트 엔지니어링 및 평가 벤치마크 개발, '챗(chat)' 인터페이스를 넘어서는 새로운 디자인, 그리고 다양한 전문 직무에서 비판적 사고가 어떻게 적용되는지에 대한 깊은 이해가 필요하다.
1. 서론: AI 조력자 패러다임의 한계
AI 응답 평가의 어려움
논문은 "토머스 제퍼슨의 유산을 어떻게 평가해야 하는가?"라는 역사학 교수의 질문으로 시작한다. 이에 대해 Bing AI 챗봇은 제퍼슨이 민주주의 이상을 옹호했지만 동시에 노예 소유자였다는 '일반적인 견해(general consensus)'를 제시한다.
이러한 AI의 답변은 단순한 '정답'과 '오답'으로 환원될 수 없다. 복잡하고 질적인 판단이 포함된 영역에서는 '오류(error)'나 '환각(hallucination)' 같은 개념이 무너진다. 역사학자들은 "누가 이 설명을 구성했으며 그 이유는 무엇인가?", "어떤 자료를 사용했는가?"와 같은 질문을 하도록 훈련받지만, 이러한 훈련을 받지 않은 일반 사용자가 AI의 결과물을 비판적으로 사고하는 것은 매우 어려운 과제이다.
'비판적 통합'의 필요성
최근 연구에 따르면, 지식 노동은 커뮤니케이션, 창의적 글쓰기, 프로그래밍 등 다양한 영역에서 근본적인 변화를 겪고 있다. 사람들은 더 이상 텍스트나 코드 같은 자료를 직접 '생산(producing)'하는 대신, AI가 생산한 자료를 '비판적으로 통합(critical integration)'하는 데 집중한다.
'비판적 통합'은 다음과 같은 편집상의 결정을 포함하며, 이는 창의성, 전문성, 의도, 그리고 비판적 사고를 요구한다.
언제 어떻게 AI를 사용할지 결정
작업을 적절하게 구성(framing)
AI의 결과물이 정확하고 유용한지 평가
'조력자(Assistant)' 패러다임의 고착
하지만 현재 AI 도구를 구축하고 사용하는 접근 방식은 AI를 '조력자(assistant)'로 상정한다. 조력자의 역할은 사용자가 설정한 방향대로 작업을 진행시키는 것이다. 이러한 비전은 "내가 하는 것을 지켜보라(watch what I do)" 또는 "당신의 소원이 나의 명령(your wish is my command)"과 같은 AI 상호작용의 은유(metaphors)에 널리 퍼져 있다.
대중의 상상 속에서 AI는 공상 과학 소설의 영향으로 양극단의 이미지로 굳어졌다.
순응적인 하인(compliant servant): 사용자의 명령을 충실히 따르는 존재
반항적인 위협(rebellious threat): 로봇의 반란, 감정을 느끼거나 스스로 목표를 갖는 존재
이러한 이분법적 상상력은 'AI 조력자' 패러다임 외의 실용적인 대안을 가로막는 역할을 한다.
2. AI as provocateur (도발자로서의 AI)
'도발자'의 역할 정의
'하인(servant)'과 '반항아(sentient fighter-lover)'라는 양극단의 비전 사이에는 중요하고 실용적인 대안이 존재한다. 그것은 바로 '도발자(provocateur)'로서의 AI이다.
'도발자' AI는 사용자의 이메일 초안을 작성하거나 코드를 짜주지 않는다. 대신, 사용자의 작업을 비판한다. '도발자'는 다음과 같은 질문을 던진다.
당신의 주장이 빈약한 부분은 어디인가?
당신의 가정과 편견은 무엇인가?
대안적인 관점은 무엇이 있는가?
당신이 지금 하는 일이 과연 할 만한 가치가 있는 일인가?
'도발자' AI는 속도와 효율성을 최적화하는 대신, 토론에 참여하고, 반론을 제시하며, 질문을 던져 사용자의 사고를 자극한다.
기존 '인간-AI 협업' 프레임워크와의 관계
'도발자'라는 아이디어는 현재의 '인간-AI 협업' 프레임워크를 보완하는 동시에 도전한다. 기존 협업 프레임워크는 AI를 워크플로우 내에 배치시키며, 인간과 AI 중 누가 행동을 주도하는지, 혹은 누가 감독 역할을 맡는지 등으로 협업을 분류한다.
기존 연구에서 AI는 '조정자', '창조자', '완벽주의자', '실행자' 혹은 '친구', '학생', '관리자' 등의 다양한 역할을 부여받았다. 또한 AI 도구에 '메타인지 지원'이 필요하다는 요구도 있었다.
하지만 '도발자'의 역할, 즉 '인간의 비판적 사고를 향상시키는 역할'은 아직 명시적으로 확인되지 않았다. '협업'이라는 은유는 '도발자'의 역할을 쉽게 수용할 수 있다. 성공적인 협업의 특징에는 원래 도전적인 협력자와 대안적 관점을 제시하는 것이 포함되기 때문이다.
'도발자' 구현의 가능성과 과제
'도발자'의 개념 안에도 여러 가능성이 존재한다. 예를 들어, 에드워드 드 보노(Edward De Bono)의 '여섯 가지 생각하는 모자(six thinking hats)' 프레임워크는 비판적 사고 대화의 역할을 구분한다. 이 중 '블랙 햇(black hat)'(평가와 경고) 역할을 하는 대화형 에이전트는 디자인 사고에서 더 높은 품질의 아이디어로 이어진다는 것이 밝혀졌다.
그러나 '도발자'를 설계하는 데에는 과제가 따른다.
사용자 경험: 끊임없는 비판의 포화는 사용자를 좌절시킬 수 있다. 이는 디자인적 과제를 제시한다.
인터페이스: 현재 지배적인 '챗(chat)' 형태의 상호작용 은유를 넘어서는 이유가 된다.
사고의 도구(Tool of Thought)
AI '도발자'는 일차적으로 작업의 도구(tool of work)가 아니라 사고의 도구(tool of thought)이다.
아이버슨(Iverson)이 언급했듯이, '표기법(notations)'은 복잡한 아이디어를 압축하고 인지적 부담을 덜어줌으로써 사고의 도구로 기능한다. 지도, 격자, 쓰기, 목록, 대수 표기법 등 초기 지식 도구들은 우리가 정보를 인식하고 처리하는 방식을 증폭시켰다.
따라서 질문은 이것이다: "우리는 어떻게 '챗'과 같은 인터페이스가 아닌, '표기법'과 더 유사한 인터페이스를 가진 '도발자'로서의 AI를 구축해야 하는가?" 공교롭게도 교육자들은 지난 한 세기 동안 "어떻게 비판적 사고를 가르칠 것인가?"라는 매우 유사한 질문에 몰두해 왔다.
3. Teaching critical thinking (비판적 사고 교육)
비판적 사고의 정의와 교육
'비판적 사고(critical thinking)'의 정의는 여전히 논쟁 중이다. 이 분야에서 영향력 있는 관점은 블룸(Bloom)과 동료들로부터 나왔다. 그들은 비판적 사고의 목표를 위계적으로 식별했다.
지식 회상 (Knowledge recall)
분석 (Analysis): 아이디어를 분류하고 연결함
종합 (Synthesis): 기존 아이디어에서 새로운 아이디어를 창출함
평가 (Evaluation): 기준을 사용하여 아이디어를 판단함
컴퓨팅 교육 분야를 포함하여, 교육에서 비판적 사고를 개발하기 위한 많은 선행 연구가 존재한다.
비판적 사고 교육을 위한 도구들
비판적 사고 도구는 개인이 논증을 평가할 수 있도록 힘을 실어준다. 이는 아리스토텔레스로 거슬러 올라가는, 타당한 논증 형식에 대한 서양 철학의 오랜 몰두에서 파생되었다.
컴퓨터 지원 학습(computer-assisted learning)에 대한 살로몬(Salomon)의 연구는 "나는 텍스트로부터 어떤 종류의 이미지를 만들었는가?"와 같은 비판적인 질문을 주기적으로 제시하는 것이 학생들의 읽기 이해력을 지속적으로 향상시킨다는 것을 보여주었다.
여러 모델과 소프트웨어가 비판적 사고 교육에 활용되어 왔다.
툴민 모델 (Toulmin model): 이 모델은 논증을 데이터, 영장(warrants), 뒷받침(backing), 한정어(qualifiers), 주장(claims) 및 그 관계와 같은 부분으로 분해한다. 이 모델의 소프트웨어 구현은 학생들이 더 논증적인 에세이를 구성하는 데 도움을 준다.
논증 매핑 (Argument mapping): 이 기법은 주장, 반론, 증거를 위계적으로 배열하여 논증의 강점과 약점을 평가하는 데 도움을 준다. 관련 소프트웨어 구현 역시 학습자에게 도움이 된다.
교육 분야의 교훈
이러한 교육 분야의 연구들로부터 다음과 같은 교훈을 얻을 수 있다.
비판적 사고는 모두에게 가치 있는 기술이다.
적절한 소프트웨어는 비판적 사고를 향상시킬 수 있다.
그리고 그 소프트웨어의 구현은 놀랍도록 간단할 수 있다.
4. Critical thinking for knowledge work (지식 노동을 위한 비판적 사고)
교육을 넘어선 지식 노동 현장
비판적 사고 도구들은 교육 분야 외부의 소프트웨어에는 거의 통합되지 않았다. 하지만 전문적인 지식 노동(professional knowledge work)은 비판적 사고 지원이 필요해지고 있는 새로운 맥락이다. 교육 환경에서의 이전 연구 결과가 이 새로운 맥락으로 그대로 이어지지 않을 수 있다. 전문 지식 노동자들의 요구, 동기, 자원, 경험 및 제약 조건은 교육 환경의 학습자들과 매우 다르며 극도로 다양하다.
비판적 사고를 촉진하는 기술
우리가 아는 몇 가지 사실들은 다음과 같다.
기술에 의해 촉발된 토론에서의 갈등은 비판적 사고를 촉진한다.
칼 세이건(Carl Sagan)의 "헛소리 탐지 키트(Baloney Detection Kit)"와 같은 잘못된 정보 방지 도구는 사용자 신념에 상당한 영향을 미칠 수 있다.
개인이 힘든 추론에 참여하려는 성향이 낮을수록, 기술이 인지적 작업을 수동적으로 대신하도록 내버려 둔다.
반대로, 기술이 더 상호작용적일수록 비판적 사고에 더 많이 기여하는 것으로 인식된다.
시스템 디자이너의 기회와 책임
시스템 디자이너는 기술을 통해 비판적 사고를 지원할 막대한 기회(그리고 책임)를 가지고 있다.
워드 프로세서: 사용자가 논증을 매핑하고, 핵심 주장을 강조하며, 증거를 연결하도록 도울 수 있다.
스프레드시트: 사용자가 수식과 예측 뒤에 숨은 추론, 가정, 한계를 명시적으로 밝히도록 안내할 수 있다.
디자인 도구: 창의적인 마찰을 일으키고, 대안을 생성하며, 아이디어를 비판하기 위해 상호작용적인 대화를 통합할 수 있다.
이처럼 지식 노동 도구 내에 비판적 사고를 내장하는 것은 기술을 수동적인 인지 목발(passive cognitive crutch)에서 능동적인 사고 촉진자(active facilitator of thought)로 격상시킬 것이다.
기술적 구현: 기존의 것과 필요한 것
기술적으로 우리는 이미 해결책의 일부를 가지고 있다. 자동 테스트 생성, 퍼징(fuzzing), 레드팀 구성, 자가 복구, 형식적 검증 방법 등을 개발 및 상호작용 루프에 통합하여 '정확성'을 향상시킬 수 있다. 또한 언어 모델이 검증 가능한 출처 텍스트를 인용하도록 설계할 수 있다.
이러한 기술들은 '정확성'을 넘어 비판적 사고를 지원하는 데도 사용될 수 있다. 예를 들어, 시스템 오류가 "인지적 결함(cognitive glitch)"으로 적절하게 제시된다면, 사용자의 성찰, 평가, 학습을 유도할 수 있다.
하지만 여전히 빠진 조각들이 있다.
비판(critiques)을 생성하기 위한 엄격한 프롬프트 엔지니어링
'도발자' 에이전트 평가를 위한 벤치마크 작업
비전문가 최종 사용자에게 언어 모델 행동을 설명하는 신뢰할 수 있는 방법론
또한 "어떤 종류의 도발을, 얼마나 많이, 얼마나 자주 특정 맥락에서 보여줄 것인가?"와 같은 디자인 질문들이 존재한다. 이는 AI 설명(AI explanation) 분야의 오랜 질문과 유사하지만, 도발은 설명과 다르므로 그 해답도 다를 것이다.
맥락의 중요성
비판적 사고는 역사, 간호학, 심리학과 같이 이러한 기술을 공식적으로 가르치는 특정 학문 분야 내에서는 잘 정의되어 있다. 그러나 스프레드시트 사용, 프레젠테이션 준비, 기업 커뮤니케이션 초안 작성과 같이 비판적 사고를 포함하는 많은 전문적인 작업에는 그러한 표준이나 정의가 없다.
효과적인 AI '도발자'를 만들기 위해서는, 이러한 특정 작업들에서 비판적 사고가 어떻게 적용되는지 더 잘 이해할 필요가 있다. '도발자'의 행동은 분명히 맥락에 적응해야 하며, 이는 휴리스틱, 프롬프트 엔지니어링, 미세 조정(fine-tuning)을 통해 달성될 수 있다.
5. Conclusions (결론)
논문은 "토머스 제퍼슨의 유산" 질문으로 돌아가, '도발자'로서의 AI가 어떻게 다르게 응답할 수 있었는지 제안한다.
AI는 단순히 답변을 제공하는 대신, 사용자가 그 응답을 평가하도록 돕는 질문들을 함께 제시할 수 있다.
출처를 나열하는 것을 넘어, 사용자가 그 출처의 상대적 권위를 평가하도록 도울 수 있다.
정제된 산문(prose) 대신, 주장에 대한 찬반 증거를 대조하는 논증 맵(argument map)으로 응답할 수 있다.
민족주의나 노예제 같은 감정적 주제에 대한 사용자 자신의 입장과 편견을 강조(highlight)할 수 있다.
사람들이 AI의 결과물을 자신의 작업에 점점 더 많이 통합함에 따라, 명시적인 비판적 사고는 학문 분야뿐만 아니라 모든 지식 노동에 중요해졌다.
따라서 우리는 AI의 개념을 '조력자(assistant)'에서 '도발자(provocateur)'로, '효율성을 위한 도구'에서 '사고를 위한 도구(tools for thought)'로 확장해야 한다. 시스템 구축자들은 AI의 잠재력을 활용하는 동시에, 미묘하고 정보에 입각한 사고를 할 수 있는 우리의 능력을 유지하고 심지어 향상시킬 기회를 가지고 있다.
