AI는 왜 맥락을 완전히 이해하지 못하는가

AI는 왜 맥락을 완전히 이해하지 못하는가

AI가 바보라서일까?
아니면 우리가 기대를 잘못하고 있는 걸까?

이 글은 “AI가 위험하다”는 경고를 하려는 것도 아니고, “AI는 인간을 대체한다”는 과장된 전망을 다루려는 것도 아니다. 나는 기술의 우열을 따지기보다, 현장에서 실제로 벌어지는 오해를 정리하려 한다. 특히 조직에서 AI를 활용할 때 반복적으로 나타나는 한 가지 질문.

“왜 AI는 이렇게 상황을 못 읽는가?”

이 질문을 감정이 아니라 구조로 풀어보고 싶다.

1. 맥락은 무엇인가?

우리는 맥락을 너무 쉽게 말한다.
“상황을 좀 봐가면서 말해라.”
“분위기를 읽어야지.”

그런데 맥락은 무엇인가?

맥락은 단순한 정보의 집합이 아니다.
시간의 흐름, 이해관계, 조직의 암묵적 규칙, 이전의 갈등, 말하지 않은 의도, 그리고 책임 구조까지 포함된다.

즉, 맥락은 “보이지 않는 전제의 총합”이다.

AI는 입력된 텍스트를 바탕으로 확률적으로 가장 그럴듯한 출력을 만든다.
하지만 입력되지 않은 전제는 계산할 수 없다.

그렇다면 질문은 바뀐다.

AI가 맥락을 모르는 것이 아니라,
우리가 맥락을 입력하지 않은 것은 아닐까?

2. 실제 현장에서 벌어지는 일

한 제조 기업의 사례를 보자.

이 회사는 최근 매출이 8% 감소했다.
대표는 AI를 활용해 원인 분석 보고서를 작성하라고 지시했다.

담당자는 지난 3년 매출 데이터, 월별 판매량, 제품별 수익률을 AI에 입력했다.
AI는 다음과 같이 정리했다.

특정 제품군의 판매량 감소

계절성 패턴 변화

광고비 대비 전환율 하락

보고서는 깔끔했다.
수치도 정확했다.

하지만 회의는 길어졌다.

왜냐하면 실제 원인은 다른 곳에 있었기 때문이다.

2개월 전 주요 유통 파트너와의 관계가 틀어졌고,
납기 지연이 반복되면서 거래 조건이 바뀌었다.
이 사실은 데이터에 직접적으로 나타나지 않았다.

AI는 숫자를 읽었지만,
조직 내부의 신뢰 변화는 읽지 못했다.

여기서 중요한 질문이 생긴다.

AI가 맥락을 이해하지 못한 것인가?
아니면 입력된 정보 자체가 맥락을 담지 못한 것인가?

3. 문제는 어디에 있는가

많은 조직이 AI를 “분석 도구”로 사용한다.
그러면서 동시에 “판단자”의 역할까지 기대한다.

그러나 분석과 판단은 다르다.

분석은 패턴을 찾는 일이다.
판단은 책임을 전제로 한 선택이다.

AI는 패턴을 계산한다.
하지만 그 패턴이 어떤 의미를 갖는지는 조직의 구조와 목적에 달려 있다.

예를 들어, 매출이 줄었다는 사실은 데이터다.
하지만 “위험 신호인가, 일시적 조정인가”는 해석이다.

해석에는 다음 세 가지가 필요하다.

시간적 맥락 – 이전 의사결정과의 연결

관계적 맥락 – 이해관계자의 반응

구조적 맥락 – 책임과 권한의 흐름

AI는 이 세 가지를 스스로 구성하지 못한다.
입력되지 않으면 존재하지 않는 것처럼 처리한다.

4. 사람들이 흔히 하는 착각

첫 번째 착각은 이것이다.
“AI는 방대한 데이터를 학습했으니, 다 알고 있을 것이다.”

대규모 언어모델은 일반적 패턴에는 강하다.
하지만 특정 조직의 내부 역사까지 알 수는 없다.

두 번째 착각은 이것이다.
“정확한 답을 안 준다.”

AI는 정답 기계가 아니다.
확률 기반 생성 모델이다.
(※ 정확한 모델 구조 설명 필요 시: 트랜스포머 기반 언어모델의 작동 원리 간단 정리 필요)

<출처>

[1]: 생성형 모델이란? | IBM

[2]: [All Around AI 6편] 생성형 AI의 개념과 모델 - SK하이닉스 뉴스룸

[3]: 생성 모델(Generative Model)과 VAE 그리고 GAN - 지그시

세 번째 착각은 이것이다.
“AI가 판단을 대신해 줄 것이다.”

판단은 책임을 수반한다.
AI는 책임을 지지 않는다.
따라서 최종 의사결정의 주체가 될 수 없다.

이 지점에서 오해가 쌓인다.

AI는 계산기인데,
우리는 조언자처럼 대한다.

5. 구조로 다시 정리해보자

AI가 맥락을 이해하지 못하는 이유는 단순하다.

AI의 작동 구조는 다음과 같다.

입력 → 확률 계산 → 가장 그럴듯한 출력

여기에는 “현장 경험”이나 “조직 정치”가 포함되지 않는다.
그것은 사람이 해석 단계에서 추가해야 한다.

따라서 구조는 이렇게 나뉜다.

1단계: 데이터 정리
2단계: 패턴 도출 (AI의 역할)
3단계: 의미 해석 (인간의 역할)
4단계: 책임 있는 판단 (의사결정권자의 역할)

문제가 생기는 지점은 2단계와 3단계를 혼동할 때다.

AI가 3단계까지 대신해줄 것이라 기대하면,
“맥락을 모른다”는 실망이 반복된다.

6. 그렇다면 어떻게 활용해야 하는가

AI를 사용할 때 가장 먼저 점검해야 할 것은 이것이다.

“이 질문에 필요한 맥락이 입력되었는가?”

예를 들어,
단순히 매출 데이터를 넣는 대신

최근 계약 변경 사항

조직 내부 갈등 여부

가격 정책 수정 이력

경쟁사 전략 변화

이 네 가지를 함께 입력하면,
AI의 출력은 달라진다.

AI는 맥락을 스스로 창조하지 못하지만,
주어진 맥락을 조합하는 능력은 있다.

따라서 AI 활용의 핵심은
질문 설계와 전제 명시다.

맥락을 설계하지 않은 채 결과만 요구하면
항상 절반짜리 답이 나온다.

7. 다시 질문으로 돌아가보자

AI는 왜 맥락을 완전히 이해하지 못하는가?

아마 이렇게 바꾸는 편이 정확하다.

AI는 “주어진 정보의 범위 안에서만” 이해한다.

인간 역시 완전한 맥락을 이해하지 못한다.
다만 우리는 암묵적 경험을 통해 빈칸을 채울 뿐이다.

AI는 그 빈칸을 채울 권한도, 경험도 없다.

그렇다면 우리가 해야 할 일은 단순하다.

AI를 판단자로 세우는 것이 아니라,
맥락을 정리하는 도구로 활용하는 것이다.

지금 당신이 AI에게 던지는 질문에는
어떤 전제가 빠져 있는가?

그리고 그 전제를 스스로는 명확히 인식하고 있는가?

아마 이 지점을 점검하는 순간,
AI에 대한 기대도, 실망도
조금은 줄어들지 않을까.