[수학의 역사] 15편. 괴델

— 불완전성으로 닫힌 문을 두드리다

1. 서두 — 질문과 장면 제시

수학은 모든 진리를 담을 수 있습니까.

20세기 초 사람들은 그럴 수 있다고 믿었습니다. 힐베르트가 약속한 대로, 몇 개의 공리와 엄격한 규칙만 갖추면 수학은 완전한 성곽이 될 것 같았습니다. 그러나 1931년 겨울, 빈의 한 서재에서 젊은 수학자 쿠르트 괴델이 조용히 한 문장을 적었습니다.

“이 문장은 이 체계 안에서 증명될 수 없습니다.”

그 문장은 마치 성곽의 숨은 비밀문 같았습니다. 보이지 않던 틈을 통해 차가운 바람이 스며들었고, 수학의 방은 이전과 같은 방이 아니게 되었습니다.

2. 역사적 사건과 인물

괴델(1906–1978)은 오스트리아-헝가리 제국의 브르노에서 태어났습니다. 빈 대학에서 수학과 철학을 공부했고, 논리학자들이 모인 빈 학단에서 형식 논리의 최신 도구를 익혔습니다. 당시 유럽은 힐베르트의 “수학을 공리로 봉인하자”는 프로그램에 열광했습니다. 공리로 문을 잠그고, 모든 정리를 기계적으로 꺼내는 꿈이었습니다.

괴델은 이 꿈을 정면으로 마주했습니다.

1931년 논문에서 그는 “산술을 표현할 만큼 강한” 형식 체계라면,
그 안에 참이지만 증명할 수 없는 명제가 반드시 존재함을 보였습니다.

이어서 그는 두 번째 결과도 제시했습니다.

그 체계가 자기 자신의 무모순성을
스스로 증명하는 일 또한 불가능하다는 사실입니다.

조용한 문장 몇 개가, 거대한 설계도의 전제를 흔들어 놓았습니다.

3. 철학적 전환과 긴장

괴델의 논리는 어떻게 작동했을까요? 비유로 먼저 설명하겠습니다. 거대한 도서관이 있습니다. 책마다 고유 번호가 붙어 있고, “이 번호의 책은 어떤 내용을 말한다”라는 목록표가 정교하게 관리됩니다. 어느 날 사서가 이런 문장을 목록에 올립니다. “이 문장이 적힌 책은, 이 도서관의 규칙만으로는 진짜라고 증명할 수 없다.” 만약 그 문장을 규칙으로 증명해 버리면 거짓이 되고, 거짓이면 문장의 말대로 “증명할 수 없다”가 참이 됩니다. 결과적으로 그 문장은 참이지만, 그 규칙만으로는 결코 증명할 수 없습니다.

괴델은 실제 수학에서 이와 비슷한 일을 수행했습니다. 먼저 문장과 증명을 모두 자연수로 바꾸는 암호화를 만듭니다. 이를 괴델 부호화라고 부릅니다. 그러면 “이 문장은 증명 가능하다/아니다” 같은 메타발언을 산술식으로 말할 수 있게 됩니다. 이어서 그는 대각화라는 장치로 자기 자신을 가리키는 문장을 구성합니다.

“나는 이 체계에서 증명 불가능하다.” 이 문장은 거짓일 수 없습니다.
거짓이라면 곧 증명 가능하다는 뜻이 되고, 체계가 모순을 일으키기 때문입니다. 따라서 문장은 참이지만, 체계 안에서는 증명되지 않습니다.

여기서 긴장이 드러납니다.

하나, 완전성의 꿈이 무너집니다. 참인 명제 전체와, 증명 가능한 명제 전체는 다릅니다.
둘, 확실성의 근거가 흔들립니다. 공리와 규칙만으로 도달하는 확실성이 전부가 아님이 드러납니다. 셋, 인간 이성의 위치가 바뀝니다. 체계 바깥에서 “저 문장은 참이다”라고 판단하는 우리의 직관과
사유는, 체계 안의 기계적 증명과 다른 층위를 형성합니다.

이 대목은 건조한 논리로만 읽히기 쉽습니다. 그러나 역사적 장면으로 보면 한 편의 드라마입니다. 수학자들이 공리의 우주를 설계하던 때, 빈의 카페에서 한 청년이 “그 우주 안에서는 결코 보이지 않지만, 분명히 존재하는 별”을 지도로 찍어낸 것입니다.

4. 역사적 배경과 파급

괴델의 발견은 20세기의 불안과 공명했습니다.