AI로 리서치하면 틀리는 이유

검색처럼 쓰다가 방향을 잃는다

by 어팀공

"AI한테 물어봤으니까 이 정도면 됐겠지."

기획서 레퍼런스 조사를 마친 뒤, 나도 한동안 그렇게 생각했다.

AI가 깔끔하게 정리해줬고, 숫자도 있었고, 사례도 있었으니까.


그런데 막상 발표 자리에서 누군가 한 마디 던졌다.


"이 수치, 어디서 나온 건가요?"


그 순간 아무것도 대답할 수가 없었다.

AI가 줬다고 말할 수도 없고, 출처를 기억하지도 못하고.


그냥 화면을 보면서 잠깐 굳었다.

그날 이후로 나는 AI 리서치를 다시 생각하게 됐다.


AI는 검색엔진이 아니다

많은 사람들이 AI 리서치를 이렇게 시작한다.

"국내 친환경 물류 시장 규모 알려줘."
"ESG 공시 의무화 현황 정리해줘."
"경쟁사 A, B, C 비교해줘."


물어보면 AI는 대답한다.

깔끔하게. 빠르게. 자신 있게.


그게 문제다.

검색엔진은 링크를 준다.

클릭하면 원문이 나오고, 발행일이 나오고, 출처가 나온다.

나는 그 문서를 직접 읽고 판단할 수 있다.


AI는 다르다.

AI는 결론을 준다.

출처 없이, 날짜 없이, 맥락 없이.


그리고 그 결론은 학습 시점까지의 데이터를 기반으로 만들어진 것이다.

2023년 데이터로 2025년 시장을 설명하고 있을 수도 있다.

심지어 없는 숫자를 그럴듯하게 조합해서 내놓기도 한다.


이걸 할루시네이션이라고 부른다.

AI가 거짓말을 하려는 게 아니다.

그냥 그럴듯한 답을 생성하도록 설계되어 있기 때문에, 모르면 모른다고 하는 대신 그럴듯한 무언가를 만들어낸다.


실제로 나도 한번 당한 적이 있다.

특정 정부 정책의 시행 연도를 AI한테 물었는데, 자신 있게 2022년이라고 답했다.


나중에 원문을 찾아보니 2024년이었다.

AI가 틀렸다기보다, 내가 확인하지 않은 게 문제였다.


이걸 리서치라고 믿고 기획서에 박아넣으면, 그 기획서는 처음부터 모래 위에 세워진 것이다.


왜 우리는 그냥 믿어버릴까

AI가 내놓는 결과물은 일단 모양이 좋다.

문장은 매끄럽고, 구조는 논리적이고, 숫자는 구체적이다. "○○ 연구에 따르면" 같은 표현도 곁들여진다.


이 포맷이 신뢰감을 만들어낸다.

우리는 잘 정리된 문서를 보면 본능적으로 검증을 덜 한다.

특히 바쁠 때, 마감이 당길 때, 이미 머릿속에 방향이 잡혀 있을 때.


AI가 내 생각을 확인해준 것처럼 느껴지는 순간, 그 결과물은 팩트가 아니라 내가 보고 싶었던 것이 된다.


이걸 확증 편향이라고 부른다.

그런데 AI는 확증 편향을 아주 잘 만들어준다.

내가 원하는 방향으로 대답하는 경향이 있기 때문에.


"ESG 투자 시장 전망이 밝은 이유를 알려줘"라고 물으면, AI는 밝은 이유를 나열한다.

어두운 이유, 반론, 리스크는 묻지 않으면 잘 나오지 않는다.


한 가지 더 있다.

AI의 답변은 길이와 형식이 일정하다.

항상 세 가지 이유, 다섯 가지 특징, 두 가지 전략.


이 패턴이 반복되면 우리는 무의식적으로 "잘 정리됐다"고 느끼게 된다.


잘 정리된 것과 맞는 것은 다르다.

그 둘을 혼동하는 순간이 AI 리서치의 가장 위험한 지점이다.


AI 리서치가 실제로 망하는 패턴

이론보다 실제 상황을 보는 게 더 빠르다.


패턴 1 — 숫자는 있는데 출처가 없다

기획서에 "국내 탄소물류 시장은 2027년까지 연평균 12% 성장 전망"이라는 문장이 들어갔다.

AI가 줬고, 그럴듯했다. 보고 자리에서 누군가 물었다.


"이거 어느 리포트 수치예요?" 답을 못 했다.

그 한 마디로 기획서 전체의 신뢰도가 흔들렸다.


패턴 2 — 사례가 우리 상황과 다르다

기획서에 이런 문장을 넣은 적이 있다.

"해외 성공 사례 : 유럽 대형 물류사, 탄소중립 물류 도입 후 운영 비용 대폭 절감." AI가 정리해줬고, 임팩트 있어 보였다.


그런데 그 기업은 유럽 규제 환경, 수천 대 규모 차량, 자체 충전 인프라를 갖춘 대기업이었다.

우리 고객은 차량 20대짜리 중소 운송사다.

규모도 다르고, 규제 환경도 다르고, 인프라 조건도 전혀 달랐다.


발표 자리에서 "그 사례가 우리 상황에도 똑같이 적용된다고 보시나요?"라는 질문이 들어왔다.


할 말이 없었다.

맥락이 다르면 사례는 근거가 아니라 장식이 된다.

AI는 그 맥락 차이를 알려주지 않는다.


내가 판단해야 한다.


패턴 3 — 최신 정보처럼 보이지만 낡은 정보다

AI가 "현재 환경부 정책에 따르면..."이라고 말하는 건 학습 기준 시점의 정책이다.


정책은 자주 바뀐다.

특히 탄소·ESG 분야는 2~3년 사이에 완전히 달라진 게 한두 개가 아니다.

"현재"라는 단어가 붙어 있어도, 그게 지금을 의미하지 않을 수 있다.


세 패턴 모두 공통점이 있다.

AI가 틀린 게 아니라, 내가 확인하지 않은 것이다.


이게 핵심이다.


리서치에서 AI를 제대로 쓰는 세 가지 방법

그렇다고 AI를 리서치에서 아예 빼자는 말이 아니다.


단지 역할을 바꿔야 한다.

AI는 리서치의 '결론'을 내주는 도구가 아니라, 리서치를 '설계'하고 '가공'하는 도구다.


첫 번째 — AI한테 리서치 설계를 시켜라

내가 자주 쓰는 방식이다.

결론을 묻는 대신, 이런 식으로 물어본다.

"친환경 물류 스타트업 기획서를 작성하려고 한다.
시장 조사를 위해 어떤 데이터를 수집해야 하고,
어떤 기관에서 신뢰할 수 있는 자료를 찾을 수 있는지 알려줘."


그러면 AI는 검색해야 할 키워드, 참고해야 할 기관(한국환경공단, 국토교통부, IPCC 등), 어떤 관점으로 분석해야 하는지를 구조화해준다.


이건 AI가 잘하는 일이다.

방향 설정, 체계 정리, 누락 포인트 찾기.


직접 결론을 내주는 게 아니라, 내가 어디를 파야 하는지 알려주는 것.


처음에 이 방식을 쓰기 시작했을 때, 생각보다 내가 조사해야 할 범위가 훨씬 넓었다는 걸 깨달았다.

AI가 떠올려준 기관 중 내가 처음 들어보는 곳도 있었고, 내가 미처 생각 못한 데이터 유형도 있었다.


리서치 설계도를 먼저 받는 것만으로도 시간도 줄고, 빠뜨리는 것도 줄었다.


두 번째 — 원문을 가져와서 AI한테 가공시켜라

진짜 리서치는 내가 직접 해야 한다.

보도자료, 정부 통계, 산업 보고서, 논문. 이걸 직접 찾고, 직접 읽고, 필요한 부분을 복사해서 AI한테 넘기는 것이다.

"아래 보고서 내용을 우리 기획 방향에 맞게 3줄로 요약해줘. [실제 원문 붙여넣기]"


"이 통계 수치가 우리 주장을 뒷받침하는 근거로 쓰일 수 있는지 검토해줘."


이렇게 하면 AI는 가공기가 된다.

출처는 내가 확보하고, 해석은 AI가 도와주는 구조.


기획서에 들어가는 수치는 반드시 원문이 있어야 한다.

AI가 요약한 수치가 아니라, 내가 확인한 원본 수치.


이 방식의 장점이 하나 더 있다.

원문을 직접 읽다 보면, AI가 알려주지 않았던 뉘앙스나 조건을 발견하게 된다.


"단, 이 수치는 수도권 기준" 같은 단서가 붙어 있다거나, 조사 대상이 특정 규모 이상 기업으로 한정되어 있다거나.


그걸 모르고 수치를 그대로 쓰면, 발표 자리에서 바로 지적이 들어온다.

원문을 보는 사람은 반드시 있다.


세 번째 — 반론을 명시적으로 요청해라

이게 가장 습관화하기 어려운 부분이다.


리서치를 마쳤다고 생각될 때, 한 번 더 AI한테 이렇게 물어보라.

"내가 지금 이 방향으로 기획을 잡고 있는데, 이 논리에서 놓치고 있는 부분이나 반박할 수 있는 관점이 있으면 말해줘."


"이 시장이 성장한다는 주장에 반대하는 근거도 있으면 알려줘."


불편하지만, 이게 기획의 밀도를 높인다.


처음에는 이게 왜 필요한가 싶었다.

이미 방향이 잡혀 있는데, 굳이 반론을 찾아서 뭐 하나.


그런데 실제로 해보면 다르다.

AI가 내놓는 반론 중에 "이건 진짜 약점이네" 싶은 게 꼭 하나씩은 나온다.

그걸 발표 전에 미리 알면, 보완 논리를 준비할 수 있다.


모르고 들어가면, 그 자리에서 당하는 거다.


반론을 미리 알아야 실제 발표나 보고 자리에서 흔들리지 않는다.

AI한테 맞다고 확인받는 것보다, AI한테 틀렸을 수 있는 부분을 먼저 찾는 게 훨씬 값지다.


리서치는 결국 판단의 문제다

AI가 내놓는 결과물이 아무리 깔끔해도, 그게 기획에서 쓸 수 있는 근거가 되려면 내 판단이 들어가야 한다.


이 숫자가 우리 맥락에 맞는가.

이 사례가 우리 고객에게도 적용되는가.

이 트렌드가 지금 이 시점에도 유효한가.


AI는 이 판단을 대신해주지 않는다.


아니, 대신해줄 수 없다.


기획자가 사라지지 않는 이유 중 하나가 바로 여기 있다.


AI는 맥락을 모른다.

내 고객이 누구인지, 이 사업이 어떤 조직에서 돌아가는지, 오늘 팀장이 어떤 분위기인지.


그 맥락을 알고 있는 사람이 판단해야 한다.

AI는 그 판단을 더 빠르고 풍부하게 할 수 있도록 돕는 것이다.


생각해보면, 리서치의 본질은 데이터를 모으는 게 아니다.

모은 데이터를 바탕으로 "그래서 우리는 이렇게 해야 한다"는 판단을 만들어내는 것이다.


AI는 데이터를 정리하는 속도를 빠르게 해준다.

하지만 그 데이터로 무엇을 주장할지는 여전히 사람의 몫이다.


리서치를 AI한테 통째로 맡기는 사람과, AI를 쓰면서도 판단은 직접 챙기는 사람.

결과물의 무게가 다르다.

발표 자리에서의 설득력이 다르다.

그리고 질문이 날아왔을 때의 태도가 다르다.


리서치도 마찬가지다.

AI가 나한테 방향을 알려주는 게 아니라, 내가 방향을 잡고 AI를 그 방향으로 쓰는 것.


한 가지만 기억해두자.

AI가 내놓은 내용을 기획서에 쓰기 전에, 딱 두 가지를 스스로에게 물어보면 된다.


첫째, "이게 진짜 맞는 정보인가?" — 출처를 직접 확인했는가.

둘째, "이게 우리 맥락에 맞는가?" — 이 정보가 우리 고객, 우리 조직, 우리 시점에도 유효한가.


이 두 질문에 "예"라고 답할 수 있을 때, 그 데이터는 비로소 '내 기획의 근거'가 된다.

AI가 정리해준 자료가 아니라, 내가 검증한 자료.


내일 당장 써먹는 한 줄 액션

다음에 AI로 리서치를 시작하기 전에, 먼저 이렇게 물어보자.


"이 주제를 리서치하려면 어떤 데이터가 필요하고, 어디서 찾아야 할까?"


결론을 먼저 달라고 하지 말고, 리서치 설계도를 먼저 달라고 하는 것.

거기서부터 시작하면, AI가 길을 잃게 만드는 도구가 아니라 길을 찾게 도와주는 도구가 된다.


그리고 AI가 답을 줬을 때, 딱 한 가지만 습관으로 붙여보자.

"이거 어디서 나온 거지?"


이 질문 하나가, 기획서 전체의 신뢰도를 지켜준다.


다음 화에서는, AI에게 경쟁사 분석을 맡겨도 되는지를 다뤄볼 예정이다.


#AI기획 #브런치작가 #기획자 #AI활용법 #직장인AI #AI리서치 #기획서작성 #프롬프트엔지니어링 #어팀공 #AI시대기획자

월, 화, 수, 목, 금, 토, 일 연재
이전 21화기획서 첫 줄이 막힐 때 AI를 쓰는 법