AI 시대 1:100 생산성 격차의 정체

컨텍스트 설계 능력이 당신의 연봉을 결정한다

교양은 잡지식 모으기가 아니라, 서로 다른 걸 이어서 보는 감각

생성AI는 거울이다

ChatGPT가 처음 나왔을 때, 전 세계가 "AI 대단하다"며 들썩였다.

뭘 물어봐도 답해준다. 논문을 요약해 준다. 코드를 써준다. 이메일 문구를 생각해 준다. 대단하다. 확실히 대단하다.

그런데 반년쯤 쓰다 보면 깨닫는 것이 있다.

"AI 대단하다"고 느끼는 정도가 사람마다 전혀 다르다.

경영자는 "AI로 업무 효율이 10배 됐다"고 한다. 신입은 "AI한테 물어봐도 애매한 답만 돌아온다"고 한다. 같은 모델, 같은 요금, 같은 인터페이스. 그런데 경험은 정반대다.

왜일까?

생성AI는 거울이다. 비치는 깊이는, 앞에 서 있는 사람의 깊이로 결정된다.

얕은 질문을 하면 얕은 답이 돌아온다. 깊은 컨텍스트를 넘기면 깊은 통찰이 돌아온다.

이건 비유가 아니다. LLM의 기술적인 특성 그 자체다. LLM은 입력된 컨텍스트를 바탕으로, 다음에 와야 할 토큰을 예측한다. 입력이 모호하면 출력도 "가장 일반적인" 방향으로 쏠린다. 입력이 구체적이고 문맥이 풍부하면, 출력도 그 문맥에 맞는 구체적인 것이 된다.

LLM의 출력 품질은 입력의 품질에 수학적으로 의존한다.

컨텍스트 윈도우 = 작업 메모리

LLM의 구조를 극도로 단순화해서 설명한다.

LLM에는 "컨텍스트 윈도우"가 있다. 이것은 LLM이 한 번에 처리할 수 있는 정보의 틀이다. 2026년 현재, Claude Opus 4.6이나 GPT-5.2는 최대 100만 토큰(책 수십 권 분량)을 한 번에 처리할 수 있다.

Karpathy는 이것을 컴퓨터의 RAM(작업 메모리)에 빗댔다. LLM 본체가 CPU, 컨텍스트 윈도우가 RAM. CPU가 아무리 고성능이어도, RAM에 올바른 데이터가 올라와 있지 않으면 올바른 계산은 할 수 없다.

LLM은 컨텍스트 윈도우에 들어 있는 정보만 쓸 수 있다.

아무리 뛰어난 모델이라도, 입력이 쓰레기면 출력도 쓰레기다. 반대로, 적절한 정보를 적절한 형태로 넘기면 놀랍도록 정확한 답이 돌아온다.

3명의 사용법을 비교한다

구체적인 예를 들어보겠다. 같은 "사업 계획을 만들고 싶다"는 태스크로, 3명의 사용법을 비교한다.

이순신 (입사 2년차, 영업)

ChatGPT에 입력한 것:

"신규 사업의 사업계획서를 만들어 주세요"

AI의 출력은 비즈니스 서적에 나올 법한 일반적인 템플릿이다. "시장 분석", "타깃 고객", "수익 모델", "KPI". 맞긴 한데, 어떤 회사에도 해당된다. 다시 말하면, 어떤 회사에도 해당되지 않는다.

이산 (과장, 사업기획 5년차)

ChatGPT에 입력한 것:

"B2B SaaS의 사업계획서를 만들고 싶다. 타깃은 직원 100~500명의
제조업. 과제는 재고 관리 디지털화가 진행되지 않은 것.
월 50만 원의 구독 모델을 상정. 첫해 50개사 확보가 목표"

AI의 출력은 제조업 대상 SaaS에 특화된 사업 계획이다. 재고 관리 시장 규모, 경쟁사 분석, 고객 획득 비용, 이탈률 상정. 이순시의 출력과 비교하면 훨씬 구체적이고 쓸 수 있다.

이재명 (부장, 사업 런칭 3회 경험)

ChatGPT에 입력한 것:

(2,000자의 컨텍스트를 투입. 과거 사업 런칭에서 배운 교훈,
실패 패턴, 현재 시장 환경의 독자적 분석, 타깃 고객 인터뷰 결과,
경쟁사 약점의 구체적 분석, 자사의 자산과 제약 조건,
조직의 의사결정 프로세스까지 담은 후)
"이 조건에서, 리스크가 가장 높은 전제 3가지를 추려내고,
각각의 검증 방법을 제안해 줘"

AI의 출력은 이재명씨의 상황에 핀포인트로 맞는 전략적 분석이다. "당신의 전제 중 리스크가 가장 높은 것은 X이며, 이를 검증하려면 Y 인터뷰를 Z건 실시해야 한다"라는 컨설턴트에게 수백만 원을 주고 얻는 수준의 조언이다.

같은 AI, 같은 모델, 같은 요금

세 사람이 사용하는 것은 같은 ChatGPT로 같은 모델, 같은 월정액 요금이다.

그런데 얻는 가치는

이순신: 거의 제로 (인터넷 검색으로도 나오는 수준)

이산: 수십만 원의 가치 (외부 컨설턴트 초회 상담 수준)

이재명: 수백만 원 이상의 가치 (시니어 컨설턴트의 전략 제안 수준)

차이를 만드는 건 AI가 아니다. 사람이다.

"무엇을 알고 있는가"

"무엇을 말로 표현할 수 있는가"

"무엇을 컨텍스트로 넘길 수 있는가"

이는 사람 측의 능력이 AI의 출력 품질을 결정적으로 좌우한다.