수학이 우리에게 호랑이인 이유

— 인간 인지의 진화, 벡터 연산, 그리고 기호 논리 사이의 간극

수학은 언제나 이중적인 존재였다.
인류 문명의 정점이자, 대다수 사람들에게는 감정적 거리감의 대상.
‘논리적인 사고의 결정체’라는 평가와 ‘차가운 기계 언어’라는 거부감이 동시에 따라붙는다.
그렇다면 왜, 수학만은 유독 많은 사람들에게 거북하게 느껴질까?
이 질문에 답하기 위해서는 단지 교육 방법이나 경험의 문제가 아니라, 보다 근본적인 차원에서 인간의 뇌 구조와 인지 진화사를 들여다볼 필요가 있다.

인간의 인지 시스템은 본질적으로 유사성 기반의 벡터 연산 기계에 가깝다.
뇌는 끊임없이 외부 자극을 다차원적인 특징 공간에 맵핑하고, 이들 간의 유사도, 거리, 방향성을 기반으로 판단을 내린다.
이는 단지 은유가 아니라 실질적인 정보 처리 방식이다.
시각 피질에서의 물체 인식, 언어 처리에서의 단어 간 의미 판단, 감정 인식, 선택 결정 등 다양한 고차원 인지과정에서 뇌는 연속적인 의미 공간 속에서 벡터 연산을 수행한다.
단어 ‘고양이’와 ‘호랑이’는 언뜻 다른 기호지만, 뇌는 그것들을 의미적으로 가까운 위치에 배치한다.
이러한 연산은 추론이라기보다는 패턴 인식이며, 판단이라기보다는 유사성 기반의 자동적 매핑이다.

이러한 벡터적 사고는 인간의 진화 과정에서 극히 효율적인 생존 도구였다.
눈앞의 낯선 물체가 과거 위험했던 자극과 유사한가?
지금 이 상황은 과거 실패했던 맥락과 얼마나 닮아 있는가?
이러한 질문들은 수치나 기호로 사고하지 않고도 빠른 의사결정을 가능하게 한다.
우리가 일상에서 사용하는 대부분의 감각, 직관, 판단은 이 유사성 중심의 벡터 연산으로 설명된다.

반면, 수학은 전적으로 다른 방식의 사고를 요구한다.
수학은 기호를 다루는 학문이다.
그 기호들은 그것 자체로는 아무런 감각적 실체를 가지지 않는다.
‘x’, ‘→’, ‘∀’ 같은 기호들은 오직 정의된 규칙과 체계 안에서만 의미를 가진다.
수학은 직관이나 유사성보다는 명제, 논리, 증명이라는 논리적 연역을 통해 사고를 전개해 나간다.
이 방식은 인간의 진화적 사고 구조와는 명백히 비동형적이다.

그렇기에 사람들은 수학을 “이상하게 어렵다”고 느낀다.
단순히 개념이 복잡해서가 아니라, 그 사고 방식 자체가 뇌의 기본 작동 원리와 충돌하기 때문이다.
수학은 직관에 기반한 판단을 불신하고, 정확한 정의와 논리적 진행만을 허용한다.
유사한 것처럼 보인다고 해서 같은 것으로 간주하지 않으며, 오히려 그런 판단을 배제하는 것이 수학적 사고의 본질이다.
즉, 수학은 인간의 본능적 사고 회로를 차단하고, 비본능적인 사고 회로를 요구하는 학문이다.

이러한 구조적 차이는 오늘날 인공지능의 작동 방식과 인간 사고 방식의 유사성을 분석할 때 더 분명히 드러난다.
현대의 대형 언어 모델, 특히 GPT 계열의 인공지능은 본질적으로 벡터 공간에서의 의미 연산 시스템이다.
단어, 문장, 문단은 모두 고차원 임베딩 공간에서 벡터로 표현되며, 이들 간의 연산은 ‘유사한 의미를 가진 단어 찾기’, ‘비슷한 문맥 생성하기’라는 방식으로 구현된다.
왕 - 남자 + 여자 = 여왕이라는 유명한 벡터 연산은, 단순한 놀이가 아니라 인공지능이 인간처럼 개념을 벡터 공간상에서 조작한다는 본질을 보여주는 예시다.

그런데 흥미로운 점은, 이러한 인공지능이 수학 문제나 논리 추론에 접근할 때는 여전히 인간처럼 오류를 범한다는 점이다.
기호 기반 논리 추론은 벡터 연산만으로는 완전히 구현하기 어렵다.
이는 곧 인간과 AI 모두에게 기호 연산은 '자연스러운 사고'가 아니라 추가적인 메타 연산의 결과임을 의미한다.
기호를 조작하고, 논리적 명제를 구성하며, 오류 없이 연역적으로 전개하는 능력은 뇌가 본능적으로 수행하는 연산이 아니라, 학습과 훈련을 통해 구축된 고차원적 인공적 시스템이다.

따라서 사람들이 수학을 어렵게 느끼는 것은 단지 학습의 실패나 문화적 편향이 아니라, 보다 근본적으로 인간 사고 시스템이 본래 기호 추론이 아닌 유사성 기반 벡터 연산에 최적화되어 있기 때문이다.
수학은 인간 본성의 외부에 있는 사고 방식이며, 그 자체로 뇌의 확장을 요구한다.
우리가 수학을 배우는 이유는 단지 정답을 찾기 위함이 아니라, 우리가 본능적으로는 하지 않는 사고를 훈련함으로써, 보다 확장된 인지 구조를 갖기 위함이다.
그리고 그것이야말로 수학의 진정한 가치이기도 하다.
수학은 인간이 본능을 넘어 사고할 수 있다는 것을 증명하는, 가장 순수한 지적 훈련의 장이다.