AI, ‘생각’하는 척을 넘어서 ‘생각하는 방식’으로
생각의 사슬(CoT), AI를 똑똑하게 쓰는 가장 현실적인 방법
정답보다 ‘중간 과정’을 설계하면, AI의 실수가 줄어들기 시작한다
I. CoT는 무엇인가?
사람이 계산 문제를 풀 때, 정답을 바로 쓰지 않고 중간 계산을 적는 이유가 있다.
중간 과정이 있어야 실수를 발견하고, 다음 단계로 갈 수 있기 때문이다.
거대 언어 모델(LLM, Large Language Model)은 기본적으로 ‘다음 단어를 그럴듯하게 이어 쓰는’ 방식으로 작동한다. 그래서 단일 질문에 단일 답을 내는 일은 잘하지만, 여러 단계의 논리·계산·조건 분기가 섞이면 에러를 일으킨다.
여기서 나온 아이디어가 CoT(Chain-of-Thought, 생각의 사슬)이다.
문제 해결의 ‘중간 추론 단계’를 먼저 생성하게 유도하면, 복잡한 과제에서 정확도가 눈에 띄게 좋아진다는 접근이다.
이 개념은 다니엘 커너먼의 행동경제학의 시스템 1(직관적 사고)과 시스템 2(숙고적 사고) 비유로도 자주 설명된다.
즉, AI를 ‘즉답 모드’에서 ‘단계적 숙고 모드’로 전환시키는 장치가 CoT라는 뜻이다.
II. CoT는 어떻게 쓰는가?
1. 퓨샷 CoT(Few-shot COT)
좋은 예시 몇 개를 보여주고, 그 예시처럼 ‘풀이 흐름’을 따라 생성하게 만드는 방식이다.
사내 규정, 산업 도메인, 조직의 용어 체계처럼 ‘회사만의 사고 순서’를 강제로 학습시키기에 유리하다.
2 제로샷 CoT
예시 없이도 “Let’s think step by step” 같은 짧은 트리거로 ‘단계적 추론’을 끌어내는 방식이다.
이 방식이 널리 알려진 계기는 Kojima 등의 연구로, 단일 트리거만으로 여러 추론 벤치마크에서 성능이 크게 오르는 현상을 보여주었다.
3 실무에서 중요한 포인트
CoT의 목적은 ‘장황한 설명’이 아니라 ‘실수 줄이는 구조’이다.
따라서 사용자에게는 길게 풀어쓰게 하기보다, 중간 단계는 ‘짧은 근거 요약’ 수준으로 통제하는 편이 운영 측면에서 유리하다.
III. CoT의 진화, 왜 계속 ‘파생 기법’이 나왔나
CoT는 강력하지만, 한 번 틀리면 틀린 채로 끝까지 밀고 가는 누적 오류에 취약하다.
또한 사실 확인이 약하면 그럴듯한 허위 정보가 섞이는 환각 문제가 남는다.
그리고 무엇보다 길게 생각할수록 응답 시간이 늘어난다.
이 약점을 보완하려고 다음 계열이 등장했다.
1 자기 일관성(CoT-SC, Self-Consistency)
한 번만 풀지 않고 여러 경로로 여러 번 풀게 만든 다음, 가장 일관된 답을 채택하는 방식이다.
“한 번 찍지 말고, 여러 번 풀어서 다수결로 안정화하라”에 가깝다.
2 생각의 트리(ToT, Tree of Thoughts)
선형 사슬이 아니라 트리 탐색처럼 여러 선택지를 펼치고, 유망한 경로를 확장하며, 필요하면 되돌아가는 방식이다.
전략·기획·탐색형 문제에서 ‘후회 없는 선택’을 만들 때 의미가 크다.
3 최소에서 최대로(Least-to-Most Prompting·단계적 난이도 상승)
어려운 문제를 더 작은 하위 문제로 쪼개고, 쉬운 것부터 해결해 누적해 가는 방식이다.
현장에서는 ‘큰 요구사항을 작은 티켓으로 쪼개는’ 애자일 감각과 유사하다.
4 프로그램의 생각(PoT, Program of Thoughts·프로그램 기반 추론)
AI가 자연어로 계산까지 하다 실수하는 문제를 줄이기 위해, ‘계산은 코드로 작성해 실행’하게 맡기는 방식이다.
정확한 수치가 핵심인 재무·통계·정산에서 특히 강하다.
5 검증의 사슬(CoVe, Chain-of-Verification)
초안 답변을 만든 뒤, 그 답변 안의 사실 주장들을 뽑아 검증 질문을 만들고, 별도로 확인한 다음 최종 답을 다시 쓰는 방식이다.
“답을 쓰기 전에, 스스로 팩트체크를 한 번 더 하라”는 구조이다.
6 생각의 골격(SoT, Skeleton-of-Thought·골격 기반 병렬 생성)
먼저 목차(골격)만 빠르게 만들고, 각 항목을 병렬로 확장해 응답 지연을 줄이는 방식이다.
대량 응답·보고서 초안에서 속도와 구조를 동시에 잡는 방법이다.
IV. 2025-2026, “CoT를 시키지 말라”는 역설이 생긴 이유
최근에는 ‘추론을 더 오래 하는 모델’이 상용화되며, 모델 내부에서 이미 긴 내부 추론을 수행하는 흐름이 강화되었다.
OpenAI는 o1 시리즈를 “응답 전에 더 오래 생각하도록 설계된 모델”로 소개했다.
이때 중요한 변화가 하나 있다.
예전처럼 “단계별로 생각해라”를 과도하게 강제하는 프롬프트가 오히려 불필요하거나 성능을 떨어뜨릴 수 있다는 점이다.
OpenAI의 가이드는 추론 모델에 대해 ‘chain-of-thought를 요구하는 프롬프트를 피하라’고 명시한다.
같은 맥락에서 DeepSeek-R1은 강화학습을 통해 ‘생각 구간’을 태그로 구분하는 등 추론을 체계화하는 방향이 알려졌다.
결론은 단순하다.
이제는 “어떻게 생각할지”를 사용자가 과하게 통제하기보다, “무엇이 정답인지”를 평가 기준으로 명확히 주는 쪽이 중요해졌다.
V. 산업별로 CoT를 어떻게 ‘현실적으로’ 쓰나
1 금융
숫자 1개가 손실로 직결되는 환경이다.
따라서 “추론은 AI, 계산은 외부(코드)”로 분리하는 PoT 계열이 효과적이다.
2 의료·헬스케어
설명 가능성과 안전이 최우선이다.
CoVe처럼 ‘초안→검증 질문→독립 검증→재작성’ 파이프라인이 사고를 줄이는 방향이다.
3 소프트웨어 개발
요구사항 분해, 설계, 디버깅은 본질적으로 다단계이다.
Least-to-Most나 ToT처럼 “작게 쪼개고, 분기하고, 되돌아오는” 구조가 잘 맞는다.
4. 법률·고객지원·엔터프라이즈 운영
정책·약관은 예외 조항이 많아 ‘누락’이 치명적이다.
CoT 자체보다 “검증 가능한 근거와 조건 체크”를 내장한 CoVe가 안전망이 된다.
VI. 마무리
CoT는 AI에게 ‘정답’을 주입하는 기술이 아니다.
AI가 실수하기 쉬운 구간을 ‘사고 절차’로 감싸서, 오류를 줄이고 재현성을 높이는 설계 기법이다.
앞으로 CoT의 핵심은 더 길게 생각하게 만드는 것이 아니라, 더 명확한 성공 기준과 더 단단한 검증 루프를 주는 쪽으로 이동한다.
#ChainOfThought #CoT #생각의사슬 #프롬프트 #AI활용 #업무생산성 #검증 #추론모델