brunch

매거진 수학의 세계

라이킷 14 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by Andy강성 Feb 03. 2024

‘페르마의 마지막 정리’ (9)

Ferma’s Last Theorem과 수학 영화 이야기

잃어버린 연결고리

1984년 가을 독일의 슈바르츠발트 중심부에 위치한 오버볼파흐에서 열린 정수론 학자들의 소규모 학회에서 사르브뤼켄 출신의 게르하르트 프라이(Gerhard Frey)는 ‘<다니야마-시무라의 추론>이 증명되기만 하면 <페르마의 마지막 정리>도 덩달아 증명된다’는 놀랄만한 발표를 하였다.

[게르하르트 프라이, 출처 구글 이미지]

프라이의 주장을 정리하면 다음과 같다.

먼저 프라이는 <페르마의 마지막 정리>가 사실이 아니고 페르마의 방정식(1번 식)을 만족하는 정수해 (x, y, z)가 존재한다고 전제하면서 이를 A, B, C로 표현하였다(2번 식).

그리고 2번 식을, 페르마의 방정식에 정수해가 존재한다면 반드시 성립해야 하는 방정식으로 형태를 변경하였는데(3번 식), 이 것은 전형적인 타원 방정식이라는 것이었다.

즉, 일반적인 타원 방정식은 4번 식과 같은 형태를 가지는데, 여기에 5번을 대입하면 곧바로 프라이가 유도해 낸 방정식이 된다는 것이다.

그리고 프라이는 <다니야마-시무라의 추론>이 맞다면 모든 타원 방정식은 모듈적 성질을 가져야 하는데, '페르마의 방정식에서 유도된 3번 타원 방정식은 너무나 정상에서 벗어난 기형적인 방정식이라서 모듈 형태로 변환될 수 없어 보인다'고 주장하였다(이를 ‘장 피에르 세르’는 ‘엡실론 추측’이라고 명명하였다).

[한국에 내한하여 강의 중인 장 피에르 세르 교수, 출처 구글 이미지]

따라서 프라이의 논리에 따르면 <다니야마-시무라의 추론>이 사실로 판명된다면 페르마의 방정식에 정수해란 있을 수 없으므로 <페르마의 마지막 정리>는 맞다는 것이다.

물론 프라이가 <다니야마-시무라의 추론>을 증명하지는 않았지만, 이로써 프라이에 의해 <다니야마-시무라 추론>과 <페르마의 마지막 정리> 간의 연결고리가 드디어 드러난 것이다.

엡실론 추측의 증명(‘리벳의 정리’로 바뀜)

‘프라이의 타원 방정식이 정말 모듈적 성질을 갖고 있지 않은지, 즉 프라이의 타원 방정식이 절대로 모듈 형태로 변환되지 않는지’에 대해 프라이는 엄격하게 증명을 하지는 못하였는데, 1986년 버클리의 캘리포니아 대학교수 ‘켄 리벳’(Kenneth Alan Ribet)이 연구 동료인 하버드 대학의 ‘배리 마주르’(Barry Mazur) 교수의 도움을 받아 엡실론 추측을 증명하였다.

이 증명이 발표되자, 전 세계 수학계는 드디어 페르마의 대정리를 정복할 수 있다며 흥분했다고 한다. 이를 통해 엡실론 추측은 '리벳의 정리'(Ribet's theorem)라는 새 이름을 얻었으며, 리벳은 이 추측을 증명한 업적으로 1989년에 페르마 상(Fermat Prize)을 수상했다.

[위: 배리 마주르, 아래: 케네스 리벳, 출처 구글 이미지]

이렇게 해서 결국 <페르마의 마지막 정리>는 <다니야마-시무라의 추론>과 한데 엮여서 운명을 같이 하게 되었다. 즉, 이제 누군가가 “모든 타원 방정식은 모듈 형태로 변환된다.”는 것을 증명하기만 하면, 그것은 곧 페르마의 방정식에 정수해가 없다는 것을 의미하게 되어 <페르마의 마지막 정리>가 증명되는 것이 되었다고 한다.

이에 모든 수학자들은 희망을 품고 다시 한번 <다니야마-시무라의 추론>을 증명하기 위하여 의욕적으로 나섰으나 여전히 30년이 지나도록 모두 실패하자 수학자들은 다시 이 추론이 증명이 불가능하다며 비관적인 태도를 보이게 되었다고 한다.

제6장 비밀리에 수행된 계산

귀납법의 채택

1986년 친구와의 대화 중 ‘리벳의 엡실론 추측 증명’에 의해 <다니야마-시무라의 추론>과 <페르마의 마지막 정리>가 하나의 문제로 통합되었다는 이야기를 들은 와일즈는 드디어 그때부터 <페르마의 마지막 정리>에 다시 한번 도전하기로(즉 <다니야마-시무라의 추론>을 증명하기로) 결심하고 그때부터 7년 동안 자기 집 다락방에 처박혀서 이 연구에만 몰두하였다고 한다.

처음 1년 동안 와일즈는 모두 무한대의 개수를 갖는 타원 방정식과 모듈 형태의 매칭을 증명의 기본틀로 ‘귀납법(induction)’을 사용하기로 결정하였다고 한다. 즉, 무한히 많은 수의 타원 방정식이 무한히 많은 모듈 형태와 1대 1로 대응관계를 이룬다는 사실을 증명하기 위해 ‘1) 주어진 명제가 임의의 수 n에 대하여 성립한다면, 2) 그 명제는 n+1에 대해서도 성립한다’는 방식으로 단 한 가지 경우만을 증명함으로써 무한히 많은 경우에 대한 증명을 대신할 수 있는 방법을 택한 것이다.

와일즈는 이를 연구하는 과정에서 첫 번째 경우에 대한 증명을 위해, 19세기 프랑스에서 비극적인 삶을 살다 간 천재 ‘에바리스트 갈루아’가 5차 방정식의 해를 구하기 위해 도입한 ‘군론’(group theory)의 방법론을 도입하기로 했다고 한다.

갈루아의 군론과 첫 번째 증명 성공

갈루아는 프랑스혁명이 발발한 지 22년이 지난 1811년 10월 25일에 파리 남쪽 근교의 부르 라 레느라는 작은 마을에서 태어났다. 당시는 나폴레옹이 권력을 잡고 있다가 워털루 전투에서 참패하고 왕위가 다시 루이 18세에게 돌아간 왕정복고의 혼란기였다.

그는 열두 살 때 루이 르 그랑이라는 국립 중고등학교에 입학하였는데 당시 사회 분위기 탓에 학교 역시 혼란스러워 16세가 되어서야 처음으로 수학을 접할 수 있었다고 한다.

이후 그는 다른 과목들을 완전히 제쳐놓고 오로지 수학 공부에만 몰두하였고 그의 수학 실력은 급속도로 성장하여 급기야는 학교의 수학 선생조차 그에게 더 이상 가르칠 게 없어 그는 당대 최고의 대가들이 집필한 수학책을 보면서 혼자 공부를 계속해 나갔다고 한다.

갈루아는 17세의 어린 나이에 첫 번째 수학 논문을 작성하여 《아날 드 제르곤》이라는 학술지에 발표하기도 하였는데 그의 수학 실력은 뛰어났지만 머릿속으로만 계산을 끝내고 종이 위에 자세히 옮겨 적는 일을 싫어하는 스타일이었다고 한다.

그래서 당대 최고의 명문인 에콜 폴리테크니크에 응시했다가 퉁명스럽고 귀찮다는 말투로 인해 면접시험에서 낙방하였고, 두 번째 응시 때는 자신의 뛰어난 능력을 알아보지 못하는 면접관에게 칠판지우개를 집어던지는 사건을 일으켜 결국 더 이상 지원할 수도 없는 상황이 되었다고 한다.

이에 그는 혼자 비밀리에 연구를 계속해 나갔고, 당시 수학자들은 3차 및 4차 방정식까지 적용할 수 있는 일반적인 해를 구하는 방법을 갖고 있었으나 5차 방정식의 해를 구하는 일반적인 방법은 모르고 있었는데, 갈루아는 불과 17세의 나이에 이와 관련된 두 편의 논문을 과학학술원에 제출하였다.

이 논문들은 당대의 유명한 수학자들인 '오귀스탱 루이 코시'와 '조제프 푸리에'(Joseph Fourier, 푸리에 정리, 푸리에 급수, 푸리에 변환 등으로 유명) 등의 추천으로 수학상 심사위원회에 올려졌으나, 결국 수학상은 엉뚱한 사람에게 돌아가고 심지어 갈루아의 논문은 최종 심사 대상에서 아예 누락되었다고 한다(아래 이 사건에 대한 신문기사 참조).

작년 3월 1일 이전에 갈루아는 대수 방정식의 풀이에 관한 논문을 심사위원회에 제출했다. 그의 논문은 두 개의 논문을 하나로 축약한 것이었는데, 누가 보아도 최종 심사에 오를 만한 매우 훌륭한 논문이었다. 갈루아는 라그랑주조차 해결하지 못한 부분을 완벽하게 풀어냈으므로 대상을 받는 것이 당연했다. 코시도 그의 논문에 극찬을 아끼지 않았다. 그런데 결과는 어떠했는가? 갈루아의 논문은 사라져 버리고 이 젊은 석학이 제외된 채로 심사가 진행되어 대상은 엉뚱한 사람에게 돌아갔다.
- 르 글로브(Le Globe), 1831

[조제프 푸리에, 출처 구글 이미지]

이에 크게 실망한 갈루아는 개인적인 연구활동을 모두 집어치우고 정치적인 시위로 학교에서 소란을 피우다가 결국 학교에서 쫓겨나게 되었고 이후 학자로서의 꿈이 좌절된 채로 ‘직업 반란군’의 길에 접어들었으며, 감옥에 수감되기도 하는 등 시련을 겪다가 1832년 3월에는 ‘스테파니 펠리시 포트린 뒤 모텔’이라는 여자를 놓고 결투를 벌이다가 3월 30일에 사망하게 되었다.

이후 그의 논문들은 갈루아의 형 알프레드와 친구 오귀스트 슈발리에 의해 정리되어 10여 년이 지난 1846년에 수학자 조제프 리우빌에 의해 집중적으로 연구되어 세상에 논문으로 발표되게 되었고 그가 제시했던 5차 방정식의 일반 해법은 6차, 7차 등 고차 방정식에도 똑같이 적용될 수 있는 19세기 최고의 수학적 쾌거로 인정받게 되었다고 한다.

[좌: 갈루아의 결투 전 날의 마지막 메모, 우: 갈루아가 결투 전 날 친구인 오귀스트에게 보낸 마지막 편지, 출처 구글 이미지]

이 과정에서 갈루아는 ‘군론‘이라는 개념을 도입하였다. ’군(Group)’이란 덧셈이나 뺄셈 등의 연산을 사용하여 한데 묶을 수 있는 요소들의 집단으로서 각각의 군은 특정한 수학적 성질을 만족하는데, 군이 만족해야 하는 성질 중 특히 중요한 것은 ‘군을 이루는 임의의 원소 두 개를 추출하여 어떤 특정한 연산을 가했을 때, 그 결과 역시 군을 이루는 제3의 원고가 되어야 한다’는 것이다(‘폐쇄성’).

갈루아는 5차 방정식의 해를 모아 갈루아의 군을 만들었는데 와일즈는 <다니야마-시무라의 추론>을 증명하는데 이러한 갈루아의 아이디어를 도입했다고 한다. 즉, 와일즈는 “다양한 타원 방정식의 일부 해들이 하나의 군을 형성하고, 모든 E-급수의 첫 번째 원소들이 모든 M-급수의 첫 번째 원소들과 정확하게 일치한다”는 결론을 얻을 수 있었다고 한다(즉, 첫 번째의 증명 성공, 여기까지 2년이라는 세월이 걸렸다고 한다).

콜리바긴과 플라흐의 방법

와일즈가 첫 번째 N에 대한 증명을 마쳤을 즈음인 1988년 3월 8일 일본의 32살의 수학자인 ‘미야오카 요이치’가 ‘미분기하학’이라는 전혀 새로운 분야를 이용하여 <페르마의 마지막 정리>를 증명하였다는 기사가 나오기도 했으나, 이 증명은 같은 미분기하학 수학자인 프린스턴 고등과학원의 ‘게르트 팔팅스’(Gerd Faltings, 1986년 필즈상 수상)가 논리적 오류를 입증함으로써 결국 발표 2개월 만에 틀린 것으로 공식 판명되는 소동도 있었다고 한다.

[게르트 팔팅스, 출처 구글 이미지]

이후 와일즈는 자신이 증명한 첫 번째 도미노에 이어 두 번째 도미노, 즉 ‘n이 성립하면 n+1도 당연히 성립한다’는 것을 증명할 수학적 테크닉으로, 타원 방정식을 분류하는 방법에 관한 이론인 ‘이와자와 이론’을 선택하였다. 그리하여 1년 동안 이 이론으로 ‘n+1 도미노’를 증명하려고 노력하였으나 결국 실패했다고 생각하고 좌절에 빠져 있었다고 한다.

그런 와중에 1991년 와일즈는 학술대회에서 옛 스승인 존 코티스의 제자였던 마티아스 플라흐(Matthias Flach)가 빅터 콜리바긴(Victor Kolyvagin)의 방법론을 보강하여 만든 ‘콜리바긴-플라흐의 방법’에 대하여 듣게 된다.

와일즈는 이 아이디어가 자신의 문제를 해결해 줄 수 있는 방법론으로서 안성맞춤이라고 생각하고 다시 1년 여 동안 이 아이디어를 확장하여 ‘n+1 도미노’를 증명하는데 모든 노력을 기울였다고 한다.

[좌: 빅터 콜리바긴, 우: 마티아스 플라흐, 출처 구글 이미지]

1993년 1월 초순 경 와일즈는 동료 교수인 ‘닉 카츠’(Nick Katz)에게 자신의 증명 방법에 대한 오류를 검토해 주고 검증을 받기 위해 도움을 요청하였고, 와일즈의 연구 결과를 비밀로 하기 위해 명목상으로 와일즈가 수학과 대학원생들을 대상으로 하는 강좌를 개설하여 자신의 연구 결과를 강의를 하고 그 강좌에 닉 카츠가 참여하여 그 강의를 듣고 검증하는 방식으로 진행하였다고 한다.

당시 이 강의의 영문을 모르는 다른 대학원생들은 결국 모두 떠나고 나중에는 닉카츠만 남게 되었는데, 종강할 무렵 카츠는 와일즈가 연구한 대로 콜리바긴-플라흐의 방법으로 <다니야마-시무로의 추론>을 증명할 수 있다는 확신을 갖게 되었다고 한다.

[닉 카츠, 출처 구글 이미지]

그리고 마지막까지 괴롭히던 타원 방정식의 패턴은 1993년 3월 말쯤 우연히 발견한 배리 마주르의 논문에 나오는 19세기식 해결법으로 증명을 마칠 수 있었다고 한다.

드디어 증명 발표

이후 와일즈는 자신의 증명을 한 번 더 검증한 후 발표하려고 했는데, 마침 그 해 6월에 케임브리지 대학에서 학회가 열린다는 소식을 듣고 모교이기도 한 그곳에서 자신의 증명을 발표하기로 했다. 와일즈는 자신의 증명이 너무 길어서 강연 기회를 더 달라고 자신의 은사인 존 코티스에게 부탁을 하여 3번의 강연 기회를 얻어낸 후 차례대로 증명 과정을 발표하기로 했다.

당시 와일즈의 강연 제목은 ‘모듈 형태, 타원 방정식, 그리고 갈루아 군의 나툼(’나타내다‘라는 뜻의 수학 용어)(Modular Forms, Eliptic Curves, and Galois Representations)으로 사람들이 이 제목만을 보고는 강의 내용을 추측할 수 없도록 하였고, 처음 강의와 두 번째 강의까지도 사람들은 와일즈의 강연을 정확하게 이해하지 못하였으나, 셋째 날에는 소문이 퍼질 대로 퍼져서 케임브리지 대학 수학과의 모든 관계자들뿐만 아니라 배리 마주르, 켄 리벳, 콜리바긴 등 그의 강연을 이해할만한 사람들이 모두 구름처럼 모여들었다고 한다.

그리고 셋째 날 와일즈가 강의를 마치고, 마지막으로 ‘이쯤에서 끝내는 게 좋겠습니다’라고 하자 우뢰와 같은 박수가 터지고 바로 이 기사는 전 세계에 특종으로 퍼져 나갔다고 한다. 당시 <뉴욕 타임스>에서는 ‘유서 깊은 수학의 미스터리 - "마침내 '유레카!'의 함성이 터지다"(At Last, Shout of ‘Eureka!’ In Age-Old Math Mystery)라는 1면 머리기사가 나갔다고 한다.