brunch

You can make anything
by writing

C.S.Lewis

by Andy강성 Jan 29. 2024

‘페르마의 마지막 정리’ (6)

Ferma’s Last Theorem과 수학 영화 이야기

제4장 추상의 세계로


볼프스켈상


20세기가 막 시작될 무렵, 대부분의 수학자들은 <페르마의 마지막 정리>를 연금술과 마찬가지로 모두 한물간 구시대의 신기루쯤으로 취급하는 분위기였는데, 이 상황에서 <페르마의 마지막 정리>에 새로운 생명력을 불어넣은 건 독일 다름슈타트 출신 실업가 ‘파울 볼프스켈’(Paul Wolfskehl)이었다.


그는 대학에서 수학을 전공하고 <페르마의 마지막 정리>에 관심을 가지고 있었지만 주로 부친에게 물려받은 사업에 몰두하며 지내고 있었는데, 짝사랑의 슬픔으로 권총 자살을 하려던 날 밤 직전에 위에서 언급한 코시와 라메의 오류를 지적한 쿰머의 논문을 읽다가 흥미를 느끼고 몰두하면서 자살하려던 시간을 훌쩍 넘겨 버렸다고 한다.


볼프스켈은 아침이 되자 전날 써두었던 유서들을 모두 찢어버리고 "<페르마의 마지막 정리>를 증명하는 사람에게 자신의 재산 대부분을 기부하겠다"고 나섰다고 한다.


그가 내걸었던 상금은 10만 마르크로 오늘날 화폐가치로 따진다면 100만 파운드가 넘는 거금이었다. 1908년 이 돈은 괴팅겐의 왕립과학원에 기탁되어 ’볼프스켈상‘이라고 정식 명명되고 100년 후인 ‘2007년 9월 13일’을 기한으로 했다고 한다.


당시 유럽과 미국 사회에서는 수수께끼 유의 문제들이 유행하면서 간단한 수학 퀴즈부터 <페르마의 마지막 정리>와 같은 난제에 이르기까지 다양한 종류의 수학 문제들이 일반 대중과 아마추어 수학광들 사이에 퍼져 나갔다고 한다.


이 중 가장 유명한 사람은 미국의 퍼즐 천재 ‘샘 로이드’(Sam Loyd)였는데 그가 만든 퍼즐 중 가장 유명한 것은 ‘14-15’ 퍼즐(아래 그림처럼 1부터 13까지는 순서대로 배열되어 있고 14번과 15번 타일만 맞바뀐 상태)였고 여기에도 1,000달러의 상금이 걸려 있었다고 한다.


[좌: 볼프스켈, 우: 14-15 퍼즐]

어쨌든 이러한 분위기 덕에 볼프스켈 상에는 처음 1년 간 무려 621건이 접수되었는데 이 중에는 증명과정의 반만 써놓고 1,000마르크를 보내주면 나머지 반을 공개하겠다는 황당한 편지도 있었다고 한다.


심지어 자신의 증명을 정답으로 인정해 주면 그 이후 들어올 수입의 1%를 주겠다고 제안하거나 자신의 답을 정답으로 인정해 주지 않으면 자신의 정답을 러시아 학회에 공개하여 자신과 같은 천재를 발견하는 영광을 누리지 못하게 하겠다는 협박 편지도 있었다고 한다.


과학원 측은 “귀하의 증명이 잘못되었음을 발견했지만 불행히도 편지지의 여백이 부족하여 여기 옮기지 못함을 유감스럽게 생각합니다”라는 답장을 보내주곤 했다고 한다.


논리수학자들의 시대


이후 19세기말이 끝나갈 무렵 논리수학자들은 새로운 분야를 향한 진보의 발길을 잠시 멈추고 수학의 모든 것을 떠받치고 있는 근본적 진리를 다시 되돌아보자는 운동이 시작되었다고 한다.


즉 몇 개의 공리를 도구 삼아 방대하면서도 복잡하기 이를 데 없는 수학을 완전히 재정립하는 길고도 지루한 작업에 매달렸다고 한다.


이러한 수학의 재검증 과정을 선도했던 사람은 당대 최고의 수학자였던 ‘다비드 힐베르트’였고, 그는 기본 공리들에서 모든 수학이 유도될 수 있고, 또 그렇게 되어야만 한다고 굳게 믿었다고 한다.


이 글의 맨 처음에 언급했듯이 그는 1900년 8월 8일 파리에서 개최된 국제수학회에서 23개의 미해결 문제를 제시했는데 대부분은 논리적 기초와 관련된 것들이었다.


당시 이러한 ‘힐베르트의 계획’에 동조하고 참여했던 유명한 수학자들은 고틀로프 프레게(Gottlob Frege), 영국의 버트런드 러셀 등이었고(러셀은 한때 ‘소심한 도서관 사서의 일화’ 역설로 고민했으나 10년 동안 새로운 공리를 찾는데 전념하여 이런 역설을 거의 해결했었다고 한다) 그들의 노력으로 인해 힐베르트의 꿈은 거의 실현되는 듯했다고 한다.


[소심한 도서관 사서의 일화]

어떤 도서관 사서가 자신이 근무하는 도서관의 책을 분류하기 위해 카탈로그를 제작하기 시작했다. 그렇게 도서관에 있는 모든 책을 대상으로 카탈로그를 만들고, 카탈로그를 내용으로 하는 카탈로그도 만들면서 도서관의 책과 카탈로그를 이용해서 만든 카탈로그들의 모음을 만들었다.

카탈로그를 전부 만든 도서관 사서는 마지막으로 두 개의 카탈로그를 만들었는데, 이 두 개의 카탈로그는 지금까지 만든 모든 카탈로그를 대상(원소)으로 하는 카탈로그이며, 카탈로그 A는 '자기 자신을 포함하지 않는 카탈로그들의 카탈로그', 카탈로그 B는 '자기 자신을 포함하는 카탈로그들의 카탈로그'로 정의하여 지금까지 만든 카탈로그를 전부 카탈로그로 묶었고 추후 새로 만들어지는 카탈로그도 두 카탈로그 중 하나에 속하도록 만들었다(당연히 A와 B의 정의는 상반되므로 모든 카탈로그는 A와 B 둘 중 하나에는 반드시 들어가야 한다).

그렇다면 이 경우 카탈로그 A와 카탈로그 B도 (도서관에 있는 카탈로그이므로) 카탈로그 A와 카탈로그 B 중 하나에 포함시켜야 하는 상황이 발생한다. 이 경우 카탈로그 B는 카탈로그 B에 속해도 문제가 없다. 왜냐하면 카탈로그 B는 카탈로그 B를 원소로 함으로써 '자기 자신을 포함하는 카탈로그'가 되었으며 그렇기 때문에 카탈로그 B에 속해도 아무 문제가 없기 때문이다.

문제는 카탈로그 A는 카탈로그 A에도 B에도 들어갈 수 없다. 만약 카탈로그 A가 카탈로그 A에 속하게 되면 카탈로그 A는 '자기 자신을 포함하는 카탈로그'가 되므로 카탈로그 A에 속할 수 없다. 그러나 카탈로그 A가 카탈로그 B에 속하게 되면 카탈로그 A는 '자기 자신을 포함하지 않는 카탈로그'가 되므로 카탈로그 B에 속할 수 없다.

따라서 이 경우 카탈로그 A는 A에도 B에도 속할 수 없는 카탈로그가 되고, 도서관의 모든 카탈로그는 카탈로그 A와 B 중 하나에 속해야 한다라는 점과 모순이 발생한다.


[고틀로프 프레게와 버트런드 러셀, 출처 구글 이미지]

그런데 1931년 약관 25세의 체코 출신 ‘쿠르트 괴델’‘결정불가능론’(theorems of undecidability), 즉 완전하고도 모순 없는 수학체계를 세우는 일이 불가능하다는 사실을 증명하는 사건이 발생하였다.


결정불가능성의 제1정리
공리에서 출발한 모순 없는 이론적 체계에는 증명할 수 없고 반증도 할 수 없는 정리가 반드시 존재한다.
(저자 주: 수학이 어떤 공리에 기초를 두고 있건 간에 대답할 수 없는 질문이 반드시 존재하기 때문에 수학은 완전성을 갖지 못한다는 뜻이다)

결정불가능성의 제2정리
공리에서 출발한 이론의 타당성을 증명할 수 있는 방법은 존재하지 않는다.
(저자 주: 수학 자체는 자신이 선택한 공리가 모순을 초래하지 않는다는 것을 보장할 수 없기 때문에 하나의 수학 체계가 모순되지 않음을 증명할 방법이 아예 없다고 주장하고 있다는 뜻이다)


[괴델의 1951년 제1회 ‘알베르트 아인슈타인 상 수상 사진, 출처 구글 이미지]

괴델의 첫 번째 정리는 ‘크레타의 역설’ 또는 ‘거짓말쟁이의 역설’이라는 이야기로 간단히 설명할 수 있다.


크레타 섬에 살고 있는 에피메니데스(Epimenides)는 어느 날 ‘나는 거짓말쟁이이다!“라고 주장했는데 이 문장이 참인지 거짓인지를 판별하려고 하면 당장 역설적인 결과를 낳게 된다는 것이다.


만약 이 문장이 참이라고 가정하면 에피메네디스는 거짓말쟁이이지만 그는 분명 사실을 말한 것이라서 거짓말쟁이가 아니게 된다. 만약 이 문장이 거짓이라고 가정한다면 거짓말쟁이가 아닌 에피메니데스는 자신을 거짓말쟁이라고 거짓말을 한 게 되어 역시 모순이 된다.


결국 괴델은 ‘이 문장에는 아무런 증명도 들어 있지 않다’는 논리로서 결정불가능한 명제가 수학에 존재한다는 사실을 입증했고, 이런 방식에 의하면 <페르마의 마지막 정리>가 참일 수도 있지만, 이 경우 그것을 증명할 방법이 없을 수도 있다는 것이다.


이와 비슷한 발견이 양자물리학에서도 있었는데 괴델이 주장하기 4년 전 독일 물리학자 베르너 하이젠베르크(Werner Heisenberg)는 그 유명한 ‘불확정성의 원리’(Uncertainty principle)를 발견하였는데, 물리적 대상을 위치와 운동량을 동시에 정확하게 측정하는 데에도 근본적인 한계가 있다는 것이다.


하이젠베르크 불확정성 원리( Heigenberg's uncertainty principle)는 양자 역학에서 맞바꿈 관측가능량(commuting observables)이 아닌 두 개의 관측가능량(observable)을 동시에 측정할 때, 둘 사이의 정확도에는 물리적 한계가 있다는 원리이다. 불확정성 원리는 양자역학에 대한 추가적인 가정이 아니고 양자역학의 통계적 해석으로부터 얻어진 근본적인 결과이다. 하이젠베르크의 불확정성 원리는 위치-운동량에 대한 불확정성 원리이며, 입자의 위치와 운동량을 동시에 정확히 측정할 수 없다는 것을 뜻한다. 위치가 정확하게 측정될수록 운동량의 퍼짐(또는 불확정도)은 커지게 되고 반대로 운동량이 정확하게 측정될수록 위치의 불확정도는 커지게 된다. (출처: 위키백과)


<7편에서 계속>


매거진의 이전글 ‘페르마의 마지막 정리’ (5)
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari