생성AI를 못 쓰는 진짜 이유

'모르겠다'를 분해하지 못하기 때문이다!

Apr 3. 2026

"프롬프트보다 사고력이 중요하다" - 나만 하는 말이 아니다

솔직하게 쓴다.

"AI 사용법보다 사고력이 더 중요하다" 라는 주장 자체는 나만의 것이 아니다. 어떤 인지과학자는 "AI에게 없는 사고력을 기르는 방법"으로 사람의 신체에 기반을 둔 직관이야말로 AI가 결코 가질 수 없는 인간의 힘이라고 이야기한 주장을 들은 적이 있다. 필자가 얼마전 만났던 AI 엔지니어는 "질문의 질이 AI의 결과를 결정한다"라고 말하는 것을 들은 적도 있다. 이런 것들은 프롬프트 엔지니어링의 맥락에서 "질문을 설계하는 힘"의 중요성을 강조하는 글은 지금 당장 검색해도 넘쳐난다.

그렇다면 이 책은 무엇이 다를까?

현장에서 26년간 발로 뛰어온 사람이, 그 경험 전부를 소재로 삼아 직접 체계화했다는 것이다.

학자는 이론에서 말한다. 인플루언서는 화제성에서 말한다. 나는 현장 실무로서 말한다. 다양한 기업에서 다양한 서비스와 업무시스템을 개발해왔고, 2022년부터 AI 빅테크기업에서 근무하며 LLM Performance Engineer로서 일해보면서 지금까지 AI 주도 개발 트렌드를 쫓아가며 약 6,000시간에 걸쳐 생성AI와 대화하고, AI 현업 환경에서 "모르겠다"라는 말과 계속해서 마주쳐왔다. 그 모든 경험을 꿰뚫고 발견한 하나의 선이, 이 책이 되었다.

구체적으로 말하면,

"모르겠다"의 분해에서 시작해서

"언어화해서 AI에게 던져라"라는 핵심으로 연결하고

컨텍스트의 차이가 격차를 만든다는 것을 데이터로 보여주고

교양적인 "연결하는 힘"으로 한층 더 가속하는 방법을 쓰고

"사고의 외부화 엔진"이라는 결론에 도착한다

이론만의 책은 얼마든지 있다. 프롬프트 관련 책들도 넘쳐난다. 이 책은 26년분의 현장 경험을 소재로, 그 모든 것 사이를 연결하려 한 책이다.

홍길동의 이야기

멘티 중에 호기심은 넘치지만 언어화가 서툰 사람이 있었다. 여기서는 그를 '홍길동'이라라고 부르기로 하자.

홍길동은 비개발자 출신 경영자지만, LLM에 대한 관심은 진짜다. ChatGPT나 Claude, Gemini와 매일 3시간씩 씨름하고 있고, 세션 예약도 꼬박꼬박 잡는다. 의욕은 정말 넘친다.

그런데 매번 세션마다 이렇게 된다.

"선생님, 이게 뭐예요?"

처음에는 "그거, 생성AI한테 물어보면 알 수 있어요"라고 답했다. 비꼬는 말이 아니다. 그게 생성AI 활용법이기 때문이다. "모르는 건 AI한테 물어본다." 이게 기본 중의 기본이다.

그런데 몇 번을 얘기해도, 다음 세션에서 또 똑같은 걸 물어온다.

"선생님, 역시 무슨 말인지 모르겠어요."

세 번째쯤에 깨달았다. 홍길동의 문제는 "AI 사용법을 모른다"는 게 아니다.

"자신이 무엇을 모르는지"를 언어로 표현하지 못한다는 것이다.

'모르겠다'의 3가지 레벨

여기서 정리해 보자. '모르겠다'에는 명확한 레벨이 있다.

레벨1: 무엇을 모르는지조차 모른다

이게 홍길동의 현재 위치다. 눈앞에 정보가 있는데, 어디서부터 손을 대야 할지 모른다. 그래서 "이게 뭐예요?"라고밖에 물을 수 없다. 이걸 AI에게 던져도 AI도 곤란하다.

실제로 해보면 안다. ChatGPT나 Claude, Gemini를 열고 "이게 뭐예요?"라고 물어보면 AI는 "무엇에 대해 여쭤보시는 건가요?"라고 되묻는다. 당연하다. 무슨 얘기인지 모르니까...

레벨2: 무엇을 모르는지는 말할 수 있지만, 왜 모르는지는 말할 수 없다

"Docker 네트워크를 모르겠어요." 이건 레벨1보다는 낫다.

적어도 "Docker", "네트워크"라는 키워드는 나왔다. AI에게 물으면 Docker 네트워크에 대한 일반적인 설명은 돌아온다.

그런데 여기서 문제가 생긴다.

AI의 설명을 읽어도 "뭔가 알 것 같기도 하고 모를 것 같기도 한" 애매모호한 상태로 끝난다.

왜일까? "자신이 어디까지 이해하고 있고, 어디서부터 이해 못 하는지"의 경계선이 보이지 않기 때문이다.

솔직하게 말하면, 2026년 현재, 에러 화면 스크린샷을 찍어서 AI에게 던지면 레벨2 문제는 대부분 해결된다. 멀티모달(이미지 인식)이 가능해졌기 때문이다. '왜'를 말 못해도, AI가 이미지에서 컨텍스트를 읽어낸다.

하지만 "해결한다"와 "이해한다"는 다르다. 스크린샷을 던져서 답을 얻어도, 왜 그 에러가 났는지, 다음에 같은 패턴이 왔을 때 스스로 대처할 수 있는지는 별개의 문제다. 레벨 2의 벽은 "답을 못 얻는 것"이 아니다. "자신의 이해 경계선이 보이지 않는 것"이다.

브리지 네트워크 개념은 이해하고 있는가?

IP 주소 할당은 이해하는가?

컨테이너 간 통신에서 무슨 일이 벌어지는지 멘탈 모델은 있는가?

이 "어디까지 알고, 어디서부터 모르는가"를 말할 수 없다.

레벨3: 무엇을 모르는지도, 왜 모르는지도 말할 수 있다

"Docker 브리지 네트워크에서 컨테이너 A에서 컨테이너 B로 ping이 안 된다. 같은 네트워크에 연결되어 있을 텐데. IP 주소는 할당되어 있고, iptables 규칙도 확인했다. 그런데 패킷이 컨테이너 B에 도달하지 않는다. tcpdump로 보면 ARP 응답이 돌아오지 않는다."

여기까지 언어화할 수 있으면, AI에게 물으면 한 번에 답이 돌아온다. 문제의 경계가 명확하게 정의되어 있기 때문이다.

AI는 "해당 상황에서는 MAC 주소 학습이 따라가지 못할 가능성이 있습니다"라든지 "veth 페어 설정을 확인해 보세요"라고 핀포인트로 답할 수 있다.

레벨 사이의 '태평양'

이 3가지 레벨 사이의 차이는, 상상 이상으로 크다.

레벨1과 레벨3 사이에는 태평양만큼의 차이가 있다.

그리고 여기가 핵심인데 레벨1에서 레벨3으로의 이행은, AI가 가르쳐 줄 수 없다.

왜일까?

레벨 1인 사람이 AI에게 "내가 무엇을 모르는지 알려줘"라고 물어도, AI는 답할 수 없다. AI는 당신의 머릿속이 보이지 않기 때문이다. 당신이 무엇을 알고 무엇을 모르는지, 어디에서 막혔는지, 어떤 멘탈 모델을 갖고 있는지와 같은 것들 전부를 당신 자신이 언어로 표현해서 밖으로 꺼내지 않으면 AI에게 전달되지 않는다.

하지만 레벨1인 사람은, 그걸 언어화하는 방법을 모른다.

이것이 '닭과 달걀' 문제다. 언어화할 수 없어서 AI에게 물을 수 없다. AI에게 물을 수 없어서 언어화 연습도 못 한다.

A씨에게 무엇을 했는가?

그렇다면 나는 A씨에게 무엇을 했을까?

옆에 앉아서, 함께 '모름'을 분해했다.

"이게 뭐예요?"라고 A씨가 말한다.

"뭐가 보여요?"라고 내가 묻는다.

"화면에 영어가 잔뜩 나와 있는데……"

"어떤 영어요? 맨 위에 뭐라고 적혀 있어요?"

"어……'Error: connection refused'라고요."

"OK. 'connection'이 뭔 것 같아요?"

"접속……인가요?"

"맞아요. 'refused'는요?"

"거부됐다?"

"그럼 합치면?"

"접속이 거부됐다……?"

"그래요. 그럼 무슨 접속이, 어디에, 왜 거부됐는지. 그게 다음 질문이에요."

바로 여기다. 이 순간에 A씨의 눈빛이 달라진다.

"모르겠다"가 "접속이 거부됐다. 그런데 왜?"로 바뀌었다. 레벨 1에서 레벨 2로의 이행이 일어난 순간이다.

여기서부터는 AI에게 물을 수 있다. "Docker에서 connection refused가 뜨는 원인은?"——AI는 제대로 답해 준다.

이건 "AI 사용법"이 아니다

방금 내가 한 것을 돌아봐라.

AI 조작은 아무것도 가르치지 않았다. 프롬프트 요령도 가르치지 않았다. ChatGPT의 편리한 기능도 가르치지 않았다.

한 것은——

'모르겠다'를 분해하는 도움

눈앞의 정보를 하나하나 언어로 표현하는 연습

"다음에 무엇을 물어야 할지"의 질문 세우는 법

이건 사고 정리법이다. AI 사용법이 아니다.

하지만 이걸 할 수 있게 되면, AI 사용법은 저절로 몸에 밴다. "무엇을 물어야 할지"를 알게 되기 때문이다.

왜 한국인은 언어화가 서툰가?

여기서 시야를 조금 넓혀보자.

홍길동은 특수한 사람이 아니다. 내 멘티의 70%는 처음에 같은 상태다. 그리고 26년의 IT 및 AI 업계 경험으로, 수백 명의 개발자를 봐왔는데, "언어화가 능숙하다"는 사람은 20%도 안 된다.

왜일까?

한국의 교육이 언어화를 가르치지 않기 때문이다.

"눈치 봐라"

"알아서 해"

"이심전심"

"눈치껏."

말하지 않아도 전달되는 것이 미덕으로 여겨져 왔다. 회의에서 "뭔가 그런 방향으로"라고 말하면, 모두 "뭔가" 이해한 척하고 진행한다.

이게 사람 사이에서는 (어느 정도) 성립한다. 표정, 목소리 톤, 그 자리의 분위기, 과거의 맥락등의 비언어 정보를 총동원해서 "뭔가"를 보완할 수 있으니까?

하지만 생성AI는 눈치를 보지 않는다.

이심전심도 없다. 눈치껏도 없다. "뭔가 그런 방향으로"라고 AI에게 말하면, AI는 "구체적으로 어떤 방향인가요?"라고 되묻는다. 당연하다.

생성AI에게 넘길 수 있는 건 말뿐이다. 말로 하지 않으면, 아무것도 일어나지 않는다.

즉, 생성AI를 제대로 활용하기 위해 가장 먼저 필요한 것은 AI 지식이 아니라, 언어화 능력이다.

그리고 이 능력은, 한국의 교육에서 체계적으로 가르쳐주는 경우가 거의 없다.

"가르친다"의 한계

AI엔지니어 양성 교육 현장에서 또 하나 깨달은 것이 있다.

레벨1에서 레벨2로의 이행은 '모르겠다'를 '무엇이 모르겠다'로 분해하는 것을 강의장에서 가르칠 수 없다.

강의장이나 세미나에서 100명을 향해 "여러분, 자신이 무엇을 모르는지 언어화해 봅시다"라고 말해도, 아무것도 일어나지 않는다. 왜냐하면 "무엇을 모르는지 모르는 사람"은, 그 언어화 방법 자체를 모르기 때문이다.

필요한 것은, 옆에 앉아서 함께 하는 것이다.

"뭐가 보여요?"

"어느 부분이요?"

"그게, 뭔 것 같아요?"

이렇게 하나씩, 눈앞의 현실을 언어로 표현하는 연습을 함께 한다.

이건 1대1로만 할 수 있다. 1대100으로는 무리다.

그래서 나는 강의나 세미나가 아닌 멘탈링을 한다. 온라인으로 화상으로도 시도해보고 있다. 하지만 화면 너머로도, 어디서 막히고 있는지, 목소리 톤이 어떻게 바뀌는지, 침묵이 몇 초 이어지는지, 질문 방식이 어떻게 변화하는지는 사람만이 읽어낼 수 있다. AI에게는 채팅 문자열만 보이지만, 사람은 '행간'을 읽을 수 있다.