brunch

'페르마의 마지막 정리‘ (2)

제2장 수수께끼의 대가 제3장 수학적 불명예

by Andy강성
제2장 수수께끼의 대가


악마가 조용히 말했다. "이봐, 자네 혹시 이거 아나? 다른 행성에 사는 최고의 수학자들도 <페르마의 마지막 정리>를 증명하지 못했다는 거야. 토성에 갔더니 수학에 도가 컸다는 굉장한 친구가 있더군. 마치 기둥에서 삐져나온 버섯처럼 생긴 녀석이었지. 편미분 방정식을 암산으로 술술 풀어낼 정도로 대단한 녀석인데, 그 친구도 그 문제만은 완전히 두 손 들었대.
- 아서 포게스(Arthur Poges)의 <악마와 사이먼 플래그(The Devil and Simon Flagg) 중에서.


제2장에서는 고대 그리스 시대부터 페르마가 역사상 최고의 난제를 만들어낸 17세기 프랑스에 이르기까지, 수학사의 주된 흐름과 숨겨진 이야기들을, 특히 페르마에 관한 재미있는 일화들을 중심으로 소개하고 있다.


아마추어 수학자 페르마


피에르 드 페르마는 1601년 8월 20일 프랑스 서부 보몽 드 로마뉴에서 태어났고 톨루즈 대학에 진학하였으며, 가족들이 공무원이 되기를 원해 시의회 위원이 되었다가 재판과 관계된 업무를 맡고 있었다. 그러면서 페르마는 일이 없을 때 소일거리로 고대 그리스 시대부터 전해 내려오는 ‘디오판토스’의 《아리스메티카(Arithmetica)》라는 책을 가지고 혼자 독학했다. 다시 말해 페르마는 아마추어 수학자였던 것이다.


그렇지만 그의 수학적 재능이 너무 뛰어나 벨은 그를 가리켜 ‘아마추어 수학의 왕자’라고 불렀고, 줄리언 쿨리지는 그의 저서 《위대한 아마추어의 수학》에서는 심지어 “그의 수학 실력이 너무 뛰어나 아마추어로 간주할 수 없다”고 까지 했다.

[페르마와 아리스메티카 라틴어 번역본, 출처 구글 이미지]

페르마는 몇 가지 중요한 수학적 업적을 남겼는데, 우선 철학자이자 천재 수학자이기도 했던 파스칼과 더불어 모든 종류의 확률 게임에 적용할 수 있는 근본적인 ‘확률법칙’을 발견하였다. 당시 파스칼은 종교의 가치를 평가하는데 확률이론을 적용하여, "영원한 행복이라는 ‘무한한’ 가치에 천국에 들어갈 ‘유한한’ 확률을 곱하면 ‘무한한’ 기댓값이 나오기 때문에 종교는 판돈을 걸 가치가 있는 일종의 확률게임"이라고 했다는 유명한 이야기가 있다.


또한 페르마는 파스칼과 함께 확률이론의 산파 역할을 했지만, 그는 이것 말고도 ‘미적분학’이라는 수학 분야에 깊이 심취되어 있었다. 역사상 최고의 수학자로 꼽히는 아이작 뉴턴이 페르마의 연구를 참조했다는 사실을 아는 사람은 아무도 없었다. 그러다 1934년에 이르러 이 사실을 뒷받침하는 증거를 무어(L. T. Moore)가 제시했다. “페르마의 접선 계산법을 기초로 하여 미적분학을 개발했다.”는 뉴턴 자신의 친필 원고가 발견된 것이다.

[파스칼과 뉴턴, 출처 구글 이미지]

미적분학과 확률이론의 창시자라는 사실만으로도 페르마는 역사상 가장 위대한 수학자라고 할 수 있다. 그러나 놀랍게도 그가 남긴 가장 훌륭한 업적은 이것과 전혀 다른 엉뚱한 수학 분야에서 이루어졌다. 페르마가 정작 위대한 업적을 남긴 분야는 실생활에 거의 도움이 안 되는, 이른바 정수론이었다. 페르마는 수의 성질과 상호관계를 연구하는 데 완전히 매료되어 있었다.


정수론과 유클리드의 귀류법


피타고라스가 죽은 뒤 ‘수학적 증명’이라는 개념은 문명 세계에 빠른 속도로 전파되었으며, 그의 학교가 불태워진 지 200년이 지난 뒤에 피타고라스 학파의 핵심 회원들은 크로톤을 떠나 알렉산드리아로 학문의 거점을 옮겼다. 당시 그리스와 소아시아, 그리고 이집트까지 점령했던 알렉산드로스(Alexandros) 대왕은 기원전 332년에 세계에서 가장 웅장한 도시를 건설할 것을 결심했다.


알렉산드로스 대왕이 만든 알렉산드리아에 그를 이은 프톨레마이오스 1세가 만든 도서관은 당시 세계 최대 규모를 자랑했고 당시 수학자들은 여기서 수학의 모든 것을 배울 수 있었으며 그곳에서 강의를 하는 것을 최고의 영예로 생각했는데 이때 형성된 수학학회의 선두 주자는 "학문에는 왕도가 없다"고 했다는 '유클리드'였다.

[알렉산드리아 도서관 상상도와 유클리드, 출처 구글 이미지]

유클리드는 기원전 330년경에 태어났다. 그는 피타고라스와 마찬가지로 순수수학의 진리만을 추구했을 뿐, 응용에는 별다른 관심을 두지 않았다. 유클리드가 집대성한 《원론(The Elements)》이란 책은 성경 다음으로 널리 익히는 제2의 베스트셀러가 되었으며 향후 2,000년간 전 세계의 초∙중∙고∙대학의 수학책은 ‘유클리드의 원론’의 기하학을 기초로 하고 있다.


그가 개발한 수학적 논리 중 가장 특기할 만한 것은 ’reductio ad absurdum(귀류법)‘, 즉 하나의 명제가 참이라는 것을 증명하기 위해 우선 그 명제가 거짓이라는 가정에서 출발하여 논리적으로 모순되는 결과를 유도하는 방법이다. 만약 명제가 참이었다면 모순법의 논리를 펴는 과정에서 어디선가 분명히 모순점을 발견하게 될 것이다. 그렇게 되면 결국 명제가 거짓이라는 가정은 틀린 것이 되고 명제가 참이라는 사실이 증명되는 것이다.

[유클리드의 기하학 원론, 출처 구글 이미지]

영국의 수학자 하디(라마누잔의 스승)는 자신의 저서, 《어느 수학자의 변명》에서 모순에 의한 증명법을 다음과 같이 설명했다.


“유클리드가 그토록 좋아했던 귀류법은 수학자들이 지난 가장 훌륭한 무기이다. 그것은 체스보다 훨씬 대담한 경기라고 할 수 있다. 체스를 두는 사람은 졸이나 마 따위를 희생시키면서 경기를 풀어나가지만, 귀류법의 논리를 펴는 수학자는 게임 자체를 담보로 잡힌 채 경기를 하기 때문이다.”


무리수 이야기


귀류법을 이용한 유클리드의 증명 중에서 가장 유명한 것은 임의의 어떤 수가 무리수(분수로 표현할 수 없는 수)임을 보이는 증명이었다. 원래 무리수는 피타고라스 학회에서 처음 발견한 것으로 추정되는데, 피타고라스는 정수와 분수도 아니고 10진 표기법으로 표기할 수 없는 괴상망측한 수라고 생각하며 극도로 무리수를 혐오하였다고 한다.


심지어 그로 인해 피타고라스의 제자였던 '히파소스'(Hippasus)가 √2를 분수로 표현하는 것이 불가능하다는 사실, 즉 무리수를 처음 발견하여 이를 피타고라스에게 알렸다가 무리수의 존재를 은폐하려는 피타고라스에 명령에 의해 익사당했다는 이야기도 있다고 한다;;;


무리리수 중 대표적인 수가 '원주율 π'인데(그래서 세계수학의 날은 3월 14일이다), 사실 이 우주를 원자 한 개 정도의 오차 이내에서 계산하고자 할 때에는 소수점 이하 서른아홉 자리만 고려하면 충분한데, 현재는 2022년에 구글 클라우드 개발자인 '이와오 엠마 하루카'가 원주율을 100조 자리까지 계산해 기네스북 세계 1위에 올랐다고 하며, 소수점 7만 자리까지 암기하는 사람도 있다고 한다.


[이와오 엠마 하루카 등, 출처 구글 이미지]

얼마 전에 '이상한 나라의 수학자'라는 우리나라 영화에서 주인공 천재 수학자 이학성(최민식 분)이 이 원주율에 음을 매칭시켜(1은 도, 2는 레 이런 식) 피아노로 연주했는데('파이송') 놀라울 정도로 멋진 화음의 곡이 만들어져 다시 한번 신기한 수의 세계에 감탄한 적이 있다^^

[이상한 나라의 수학자 OST 파이송]

디오판토스의 《아리스메티카》


한편 유클리드의 기하학만큼 유명한 저서를 남긴 사람은 알렉산드리아에서 활약했던 '디오판토스'(Diophantus)로서 그는 그리스 수학을 선도한 최후의 인물인데, 그의 묘비에는 그의 인생 역정을 수수께끼로 묘사한 다음과 같은 글이 남겨져 있어 유명하다.


신의 축복으로 태어난 그는 인생의 1/6을 소년으로 보냈다. 그리고 다시 인생의 1/12이 지난 뒤에는 얼굴에 수염이 자라기 시작했다. 다시 1/7이 지난 뒤 그는 아름다운 여인을 맞이하여 화촉을 밝혔으며, 결혼한 지 5년 만에 귀한 아들을 얻었다. 아! 그러나 그의 가엾은 아들은 아버지의 반밖에 살지 못했다. 아들을 먼저 보내고 깊은 슬픔에 빠진 그는 그 뒤 4년간 정수론에 몰입하여 자신을 달래다가 일생을 마쳤다.


정수론에 관한 그의 업적은 그가 남긴 《아리스메티카》에 의해 잘 알려져 있는데(본래 열세 권이었는데 중세 암흑기에 소실되었다가 겨우 여섯 권이 전해졌다고 한다), 페르마는 바로 이 책 《아리스메티카》 6권에 있는 총 100여 문제를 가지고 정수론을 공부했고 그 외 전혀 별도의 수학교육을 받지 않았다고 한다!!!


페르마의 메모


그 책 중 '2권의 여덟 번째 문제'의 여백에 자신의 메모로 페르마의 마지막 정리와 그 유명한 문구를 남겨 놓았던 것이다(이 메모가 적힌 원본은 남아 있지 않고 페르마 사후에 아들이 그 메모를 인쇄하여 추가한 '페르마의 주석이 달린 아리스메티카 개정판'에 그 내용이 남아 있을 뿐이다).


Quaestio VIII.

Propositum quadratum dividere in duos quadratos.
Imperatum sit ut 16. dividatur in duos quadratos. Ponatur primus 1Q. Oportet igitur 16. - 1Q. aequales esse quadrato. Fingo quadratum a numeris quotquot libuerit, cum defectu tot unitatum quod continet latus ipsius 16. esto a 2N. - 4. ipse igitur quadratus erit 4Q. + 16. - 16N. haec aequabuntur unitatibus 16. - 1Q. Communis adiiciatur utrimque defectus, et a similibus auferantur similia, fient 5Q. aequales 16N. et fit 1N. 16/5. Erit igitur alter quadratorum 256/25. alter vero 144/25. et utriusque summa est 400/25. seu 16. et uterque quadratus est.

Observatio domini Petri de Fermat.
Cubum autem in duos cubos, aut quadratoquadratum in duos quadratoquadratos, et generaliter nullam in infinitum ultra quadratum potestatem in duos eiusdem nominis fas est dividere cuius rei demonstrationem mirabilem sane detexi. Hanc marginis exiguitas non caperet.


[번역]

문제 8.

제곱수를 두 제곱수로 나누기 위해.
문제가 16을 두 제곱수로 나누는 것이라고 하자. 먼저 x²을 둔다. 그러면 16-x²이 제곱수여야 한다. 원하는 만큼의 수에서 제곱해서 16이 되는 수를 뺀 것으로 제곱수를 만든다. 2x-4라고 하자. 그러면 이것의 제곱은 4x²-16x+16인데, 이를 16-x²과 같다고 한다. 양쪽에서 공통으로 모자란 부분을 더하고 같은 양만큼 없애면, 즉 양변을 정리하면 5x²이 16x와 같고, x는 16/5가 된다. 따라서 하나를 256/25로 하고 다른 하나를 144/25로 두면 그 합은 400/25, 즉 16이 되고 둘은 각각 제곱수다.


페트리 드 페르마의 주석

임의의 세제곱수는 다른 두 세제곱수의 합으로 표현될 수 없다. 임의의 네제곱수 역시 다른 두 네제곱수의 합으로 표현될 수 없다. 일반적으로, 3 이상의 지수를 가진 정수는 이와 동일한 지수를 가진 다른 두 수의 합으로 표현될 수 없다. 나는 이에 대한 실로 놀라운 증명법을 발견했다. 여백이 부족하여 이를 적지 않겠다.


저자는 이 부분에 대해 다음과 같이 표현하고 있다.

“이처럼 사람을 약 올리는 말이 또 어디 있을까. 페르마는 자신의 표현대로 '경이적인 방법으로' 증명했음에도 불구하고, 단지 귀찮다는 이유만으로 그것을 세상에 발표하지 않은 것이다. 이뿐만 아니라 그는 어느 누구와도 증명에 관한 대화나 편지를 나누지 않았다. 페르마의 게으름과 겸손함으로 인해 베일 속에 가려진 이 정리는 훗날 <페르마의 마지막 정리>라는 이름으로 세상에 알려지면서 전 세계 수학자들 사이에서 가장 유명하고 가장 증명하기 어려운 정리로 자리를 굳혔다.”


페르마가 이 정리를 발견한 것은 1637년, 그의 나이 37세일 때인데, 그로부터 거의 30년이 지난 1665년 1월 12일 페르마가 세상을 떠난 뒤 페르마의 장남이었던 클레앙 사무엘이 아버지의 범상치 않은 업적을 후대에 전해야 한다는 사명감으로 페르마가 생전에 남긴 주석들을 한데 수집하여 출판함으로써 <페르마의 마지막 정리>는 생명을 유지할 수 있었다.

[위: 페르마의 주석이 달린 아리스메티카 개정판, 아래: 페르마의 마지막 정리가 인쇄된 페이지, 출처 구글 이미지]

페르마의 주석이 세상에 알려지자, 당대의 수학자들은 페르마가 살아 있을 때 그와 주고받았던 편지를 뒤져보고는 자신들이 알고 있던 페르마의 수학이 빙산의 일각이었다는 사실에 경악을 금치 못했다고 한다.


18세기의 가장 위대한 수학자였던 레온하르트 오일러는 소수에 관하여 페르마가 남긴 또 다른 유명한 정리들 중 하나인, "4n+1로 표현되는 소수는 항상 두 제곱수의 합으로 표현될 수 있지만(13=2²+3²), 4n-1로 표현되는 소수는 이런 방식으로 표현될 수 없다(19=?²+?²)"를 증명하려고 시도했는데, 무려 7년 동안 이 문제와 씨름하던 끝에 1749년에 증명에 성공하였다고 한다. 페르마가 죽은 지 거의 1세기 만에 그의 증명 중 겨우 하나가 천재 오일러에 의해 재현된 것이다!!


원래 정리(Theorem)는 수학의 근본을 이루는 기초로서 완벽한 진실로 판명되어야만 하는 것이고, 완벽한 검증이 이루어지지 않은 아이디어는 단지 추론(conjecture)라고 하는데, 페르마는 자신이 발견했던 모든 정리를 완벽하게 증명했다고 주장했으므로, 이들은 그에게 있어 문자 그대로 '정리'가 될 수 있다.


하지만 다른 수학자들에게는 그의 증명과정이 재현되지 않았기 때문에 엄밀하게 말하면 그때까지는 '페르마의 추론'이었고, 자타가 공인하는 천재들도 두 손을 들어버릴 정도로 난공불락이어서 '수학 역사상 가장 지독한 수수께끼'라는 원망 어린 별칭이 따라다녔다고 한다.


아서 포기스가 1957년도에 출판한 단편 소설 《악마와 사이먼 플래그》에서는 "수학자가 악마에게 영혼을 줄 테니 기한 안에 페르마의 마지막 정리를 풀어달라고 딜을 걸었는데, 악마는 자신만만해하면서 혼자서 열심히 수학 공부를 하다가 현대수학의 방대함에 질려버리고 편미분방정식을 암산으로 풀 정도의 능력을 가진 가상의 외계 종족까지 찾아가지만 결국 실패했다"는 이야기를 할 정도로 <페르마의 마지막 정리>는 그 후 300년간 수학자들에게 너무나 가혹한 형벌이었다.


제3장 수학적 불명예


수학을 여행에 비교한다면 그것은 잘 닦인 고속도로를 따라가는 여행이 아니라 낯선 황무 지를 정처 없이 헤매는 방랑길과 비슷하다. 여행자는 이곳에서 종종 길을 잃기도 한다. 황무지의 지도는 여행자에게서 날아온 '엄정함'이라는 신호에 의해 만들어진다. 그러나 일단 지도의 한 부분이 만들어지면 여행자는 이미 그곳에 없다.
- 앵글린(W.S. Anglin)


오일러의 도전


그 첫 도전장을 던진 수학자는 수학 역사상 가장 방대한 업적을 남긴, 스위스 출신의 18세기를 대표하는 전설적인 수학의 천재, ‘레온하르트 오일러’(Leonhard Paul Euler, 1707년 4월 15일~1783년 9월 18일)였다.


수학 역사를 통틀어 볼 때, 어설픈 증명으로 주변의 동료들에게 민폐를 끼친 수학자는 수도 없이 많다. 그러나 이런 사례를 단 한 번도 남기지 않은 천재 중의 천재가 있었으니, 18세기를 대표하는 전설적인 수학의 천재, 레온하르트 오일러가 바로 그러한 인물이었다. 그는 또한 <페르마의 마지막 정리>를 증명하는 데 최초로 희망적인 일보를 내디딘 수학자였다.


그는 위대한 업적 뿐만 아니라 엄청난 수학 연구로 인해 두 눈이 모두 멀었지만 죽기 직전까지 7년 동안 뛰어난 암산과 암기로 수학 연구를 계속했던 것으로도 유명하다. 프랑스의 철학자인 니콜라 드 콩도르세는 오일러에게 바치는 추도사에서 "이제 오일러는 사는 것과 계산하는 것을 드디어 멈추었습니다"라고 썼다고 한다.

[좌: 오른쪽 눈이 불편했던 오일러 초상화, 우: 오일러가 들어간 스위스 10프랑 지폐, 출처 구글 이미지]

오일러가 남긴 수학의 업적은 너무 많아 열거하기도 힘든데(자신의 이름을 딴 상수가 두 개인 (오일러-마스케로니 상수와 오일러 상수) 유일한 수학자이기도 하다), 주요한 것들만 정리해 보면 다음과 같다.


1) 현재 사용하는 다수의 수학 기호들의 도입 및 대중화


- 함수의 개념을 도입하고, 함수 f를 f(x)로 표기

- 현대의 삼각함수 표기법을 도입

- 자연로그의 밑을 e(오일러 수, 네이피어 상수라고도 함)로 표기

- 수열의 합을 그리스 문자 Σ(시그마)로 사용

- 허수 단위를 i로 표기

- 원주율을 π로 표기하는 것을 대중화시킴(π를 처음 사용한 사람은 웨일스의 수학자 윌리엄 존스)


2) 오일러가 만든 유명한 공식이나 이론들


- 오일러 공식(영화 ‘히든 피겨스’에 우주선의 정확한 착륙 지점을 계산하기 위해 ‘오일러 공식’이 사용되는 장면이 나오면서 “이론이 아닌 숫자로 문제를 바라보는 것, 수학은 항상 믿음직하죠."라는 대사가 나온다. 이 영화도 NASA에 근무했던 캐서린 존슨의 실화를 바탕으로 하여 꽤 재미있다^^)


- 오일러의 항등식(기본 연산인 덧셈, 곱셈, 지수와 수학에서 중요한 상수인 0, 1, e, i, π가 한 번씩 들어간다는 점에서 수학자들이 선정한 '세상에서 가장 아름다운 공식'으로 선정되기도 하였다. 여러 영화 등에서 다루어짐 - 박사가 사랑한 수식, 이상한 나라의 수학자 등).

[오일러 공식과 오일러 항등식]
[영화 ‘박사가 사랑한 수식 중 오일러 항등식 설명하는 장면]
수학계에서 '이 세상의 어떤 다이아몬드보다 멋지고, 어떤 보물보다 진귀한 등식'이라는 평가를 받는 등식이다. 그럴 만도 한 것이 수학 사상 가장 유명한 동시에 영역이 달랐던 다섯 가지 수인 0, 1(산술)[7], 자연로그의 밑 e(해석학), 원주율(기하학), 그리고 허수 단위 i(대수학)가 모두 들어가 있으며, 수학에서 가장 기초가 되는 사칙연산, 지수 그리고 등호가 모두 쓰인 대범한 등식이기 때문이다.

물리학자 리처드 파인만은 이 식을 "수학에서 가장 비범한 식"이라고 불렀다. 21세기 기준 현존하는 최고의 SF 소설가로 평가받는 테드 창은 이 식을 보며 "마치 절대적인 진리의 편린을 목격한 듯한 외경심을 느낀다"고 했다.


- ’쾨니히스베르크의 다리 문제‘(한 번씩만 건너서 모든 다리 건너기)를 해결하면서(결국 불가능한 걸로 증명) 만든 ‘평면도형에서의 오일러 공식’: ‘v(꼭짓점과 교차점의 수) - e(면의 수) + f(변의 수) = 1’과 ‘3차원 도형에서의 오일러 공식’: v(꼭짓점과 교차점의 수) - e(면의 수) + f(변의 수) = 2‘


[위: 오일러 공식과 항등식, 아래: 쾨니히스베르크 다리 문제, 출처 구글 이미지]

- 오일러 각, 오일러-라그랑주 방정식, 오일러-마스케로니 상수, 오일러 방정식, 오일러 운동 방정식, 오일러의 정리, 오일러 삼각형 정리, 오일러 지표, 오일러 피 함수(양의 정수 n에 대해 n과 서로소인 1부터 n까지의 정수의 개수를 나타내는 함수, φ(n)), 코시-오일러 방정식, 오일러-매클로린 공식 등등


이러한 엄청난 업적들과 천재성 및 수학에 대한 열정 등으로 인해 오일러는 ‘역사상 가장 위대한 수학자’ 중 항상 다섯 손가락 안에 꼽힌다(‘아이작 뉴턴’을 물리학자로 본다면 사실상 ‘가우스’와 함께 최고의 근대 이후 수학자로 꼽힌다. 페르마도 15위에 랭크되어 있다).

[2013년 4월 15일 오일러 탄생 306주년을 기념한 구글 메인 화면, 오일러의 공식들로 장식, 출처 구글 이미지]

오일러의 증명(n=3인 경우)


이러한 천재적인 오일러가 <페르마의 마지막 정리>에 도전하였는데, 오일러는 허수 i의 개념을 도입하는 당시로서는 혁명적인 방법과 ‘무한 반복성 귀류법’을 사용하여 n=3인 경우에 한하여 <페르마의 마지막 정리>를 기어이 증명해 냈다!!!.


허수는 음수의 제곱근을 뜻하는 수이지만 수학자들은 i를 자연수나 음수처럼 일상적인 수로 취급한다. 물리학자들은 한술 더 떠서, 실제 세계의 자연 현상을 서술할 때 허수를 가장 훌륭한 언어로 사용한다. 단진자와 같이 주기적으로 반복되는 운동의 경우, 운동 방정식의 해를 구하는 가장 이상적인 방법은 우선 복소수의 형태로 해를 구한 뒤 약간의 손질을 거쳐 실수화하는 것이다. 이것을 수학적으로 서술하기 위해 허수(복소수)가 필수적으로 도입된다.


순수수학자들 역시 과거에 풀지 못했던 문제들을 해결하는 수단으로 허수를 이용해 왔다. 그리하여 오일러는 2차원으로 확장된 복소수의 개념을 도입하여 <페르마의 마지막 정리>를 증명하기로 마음먹었다.


오일러 이전의 수학자들은 n = 4일 때 페르마가 사용했던 ‘무한 반복성 귀류법’을 다른 n값의 경우에 적용해 보았지만, n = 4일 때는 전혀 나타나지 않았던 논리상의 허점이 계속 발생하여 모두 실패하고 말았다. 그러나 오일러는 허수 i를 증명과정에 도입함으로써 논리의 허점을 성공적으로 보완했고, 무한 반복성 귀류법으로 n = 3인 경우에 한하여 <페르마의 마지막 정리>를 기어이 증명해 냈다.


한편 당시 n=4인 경우는 페르마가 다른 자신의 정리에서 귀류법적인 논리로 정수해가 없음을 이미 증명해 놓은 사실이 뒤늦게 밝혀졌고(물론 여기서도 여백이 좁다는 이유로 증명을 제대로 끝내지는 않았지만;;;) 오일러도 이 방식을 참조했던 것으로 보인다고 한다.


그렇지만 n=5 이상인 소수의 경우(3의 배수나 4의 배수는 n=3, 4인 방법을 통해 증명 가능하므로 결국 소수만 남음) 오일러의 ‘무한 반복성 귀류법’은 더 이상 먹혀들지 않고 증명에 실패하여, 저자는 결국 “인류 역사상 가장 뛰어난 수학자, 가장 위대한 업적을 남긴 불세출의 천재 오일러가 페르마 앞에서 무릎을 꿇은 것이다”라고 한다.


소수와 무한 이야기


저자는 여기서 소수에 대한 재미있는 이야기를 하는데, 소수는 수학체계를 구성하는 기본 단위이기 때문에 정수론 수학자들은 모든 수 중에서 소수를 가장 중요하게 여긴다. 소수가 아닌 자연수, 즉 모든 합성수는 소수들의 곱으로 만들어질 수 있기 때문에 소수는 정수론의 건물을 짓는 데 사용되는 블록이라고 할 수 있다.


이러한 소수가 응용되는 대표적 분야로는 ‘암호학’(Cryptography)을 들 수 있는데, 1977년 매사추세츠 공과대학에서 수학과 컴퓨터를 연구하던 ‘로널드 리베스트’와 ‘아디 샤미르’, 그리고 '레너드 에들먼은' 암호화하기는 쉽고, 풀기는 매우 어려운 비밀열쇠로 가장 이상적인 것이 소수라는 사실을 알게 되었다.

[로널드 리베스트, 아디 샤미르, 레너드 에들먼, 출처 구글 이미지]

즉 자릿수가 엄청나게 큰 두 개의 소수를 지정하고 이를 곱하여 더욱 큰 합성수를 만든 뒤 그 두 개의 약수를 알아내야만 암호가 풀리도록 설계하면 이를 해독하는데 엄청나게 긴 시간이 걸릴 것이므로 매우 높은 기밀성을 유지할 수 있다는 것이다(‘RSA 알고리즘’).

[129자리 소수로 만든 RSA 129 출처 구글 이미지]

한편 <페르마의 마지막 정리>와 관련해서는 n=3, 5, 7 등 몇 개의 소수에 대해 증명했다 하더라도 결국 소수의 개수가 무한대이고(유클리드는 이 것을 귀납적 방법으로 증명하였다) 무한대보다 분명히 작은 양도 역시 무한대가 되기 때문에 결국 수학자들은 모든 소수들에 대해 <페르마의 마지막 정리>를 증명하는데 좌절할 수밖에 없었다.


무한의 개념에 대해서는 이를 다룬 ‘힐베르트의 호텔’ 문제가 유명한데, 무한개로 존재하는 호텔방이 전부 차 있더라도 한 명의 새로운 투숙객이 왔을 경우 모든 손님을 한 칸씩만 옆으로 이동시켜 항상 새로운 손님을 받을 수 있고, 무한의 손님이 오더라도 모두 짝수방으로 이동시키고 빈 홀수방에 얼마든지 무한의 손님을 받을 수 있다는 논리이다.

[힐베르트의 무한 호텔 설명 그림, 출처 구글 이미지]

가우스와 페르마의 마지막 정리


인류 역사상 가장 천재적인 수학자 ‘요한 칼 프리드리히 가우스‘(Johann Carl Friedrich Gauß)는 수학의 모든 분야에 걸쳐 엄청난 업적을 쌓았음에도 불구하고 이상하게 <페르마의 마지막 정리>에 대해서는 아무런 시도도 하지 않았다.


[가우스, 출처 구글 이미지]

오히려 그는 친구에게 보내는 편지에서 <페르마의 마지막 정리>를 경멸하는 투의 표현을 서슴치 않았다고 한다. 그는 편지에서 “파리 학술원에서 내걸었다는 상금에는 구미가 당기지만 솔직히 <페르마의 정리> 따위에는 전혀 관심이 없다네. 이와 비슷한 수학 정리는 나라도 지금 당장 만들어 낼 수 있네. 정리의 진위 여부를 증명할 수 없는, 그런 수학 정리는 얼마든지 있으니까 말일세"라고 했다고 한다.


당시로서는 가우스의 말에도 일리가 있었겠지만 가우스가 과연 <페르마의 마지막 정리>에 전혀 관심을 가지지 않았는지 아니면 자존심이 강한 가우스가 증명을 시도하다가 포기하고 이런 이야기를 했는지는 아무도 알 수 없다고 한다.


<3편에서 계속>

keyword