‘페르마의 마지막 정리’ (4)
제5장 귀류법
와일즈의 타원 방정식 연구
1975년 앤드루 와일즈는 케임브리지 대학의 대학원생이 되었는데, 엠마뉴엘 대학의 ‘존 코티스’ 교수를 지도교수로 하여 그의 지시에 따라 3년 동안 ‘타원 곡선’이라는 수학 분야를 전공으로 택해 그동안 연구해 왔던 <페르마의 마지막 정리>와는 다소 다른 길을 걷게 된 것으로 생각했다고 한다.
이 분야에서는 타원 방정식을 풀게 되는데, 역사상 처음으로 타원 방정식을 연구했던 사람은 바로 《아리스메티카》의 저자인 그리스의 ‘디오판토스’였다. 페르마도 특정 타원 방정식의 정수해가 단 하나뿐임을 증명하기도 했다고 한다.
여기서 정수해가 무한히 많을 수 있기 때문에 수학자들은 한정된 범위 안에서 정수해를 구하는 차선책으로 소위 ‘시계 대수학’(clock arithmetic)이라는 것을 강구해 냈다(0부터 n까지의 수직선을 잘라내어 만든 원으로 표현된다. 예를 들어 5시 대수학에서는 0부터 4까지의 수가 시계 모양의 원을 이루고 5와 0은 동일한 수이므로 0으로 대치된다).
여기서 어떤 타원 방정식의 어떤 ‘n시 대수학에’서 해가 몇 개인지를 정리한 것을 가지고 ‘타원 방정식의 L-급수’(L-series) 내지 ’E-급수‘라는 개념이 나온다. 와일즈는 존 코티스 교수의 지도를 받으며 타원 방정식과 E-급수의 연구에 몰두하여 유능한 정수론 학자로서 명성을 날리게 되었는데, 이때까지만 해도 이런 업적이 훗날 <페르마의 마지막 정리>를 증명하는데 밑거름이 될 것이라는 생각을 전혀 하지 못했다고 한다.
[타원 곡선과 타원 방정식, 출처 구글 이미지]제5장 귀류법
수학자는 화가나 시인처럼 아름다운 심성을 지녀야 한다. 수학적 아이디어는 색채나 시어(詩語)처럼 서로 조화롭게 어울려야 한다. 수학에서 아름다움은 필수적인 요소이다. 보기 흔한 수학이 설 곳은 이 세상 어디에도 없다.
-G.H 하디
이 장에서는 윌리엄 와일즈의 증명에 기초가 된 ‘다니야마-사무라 추론’과 이를 <페르마의 마지막 정리>와 연결시킨 ‘게르하르트 프라이’(Gerhard Frey)에 관한 이야기가 나온다.
다니야마와 시무라의 인연
1954년 1월 도쿄 대학의 젊고 유능한 수학자 ‘시무라 고로‘(志村五郎, 1930년 2월 23일생)는 수학과 도서관을 찾아가 《수학 연보》 제24권의 ’복소수의 곱셈'에 관한 듀링(Deuring)의 논문을 빌리려고 했다가 누군가 이미 빌려 갔다는 것을 알고 그에게 "지금 수행하고 있는 난해한 계산을 끝내려면 그 책이 필요하니 빨리 그 책을 반납해 달라"는 편지를 썼는데, 그 답장은 “나 자신도 당신과 동일한 계산을 하고 있으며 계산의 목적도 당신과 같다”는 것이었다고 한다.
그 답장을 보낸 사람이 바로 ‘다니야마 유타카’(谷山豊, 1927년 11월 12일생)였고 이 것이 인연이 되어 두 사람은 이후 절친이 되었고 공동연구까지 진행하게 되었다고 한다.
다니야마는 ‘멍청한 천재’의 전형으로 자유분방하고 게으른 기질이었으며, 시무라는 불교의 선문답을 좋아하는 약간 변덕스러운 기질의 보수적인 사람이었다고 한다. 놀랍게도 시무라는 다니야마의 그런 기질을 부러워했다고 한다.
“그는 자주 실수를 저지르곤 했는데, 그 실수라는 것이 항상 올바른 방향으로 저질러지더군요. 정말이지 신기할 정도였어요. 저는 그것이 부러워 억지로 흉내라도 내보려고 꽤나 애를 썼지만 뜻대로 되지 않았습니다. 훌륭한 실수를 저지르는 것은 결코 쉬운 일이 아닐 테니까요. 다니야마는 그 방면으로 천부적인 재질을 타고난 친구였지요.”
모듈 형태론
이 무렵 다니야마는 지도교수 밑에서 첫 경력을 쌓는 것을 거절하고 학생들끼리 자체적으로 세미나를 개최하여 정보를 주고받곤 하였는데, 이들은 학문적으로 고립되어 있었기 때문에 미국과 유럽에서 이미 한물간 낡은 주제로 열띤 토론을 벌이는 경우가 종종 있었다곤 한다. 그중에서도 특히 다니야마와 시무라의 관심을 끌었던 ‘한물간‘ 연구 주제는 바로 ’모듈 형태론’(modular forms)이었다.
모듈 형태론은 수학의 여러 분야 중에서도 가장 기이하고 경이로운 연구 대상이라 할 수 있는데, 20세기의 수학자 마르틴 아이클러(Martin Eichler, 시무라 고로와 함께 특정한 모듈러 형식에서 생성되는 타원곡선에 대한 연구를 진행한 것으로 유명하다)는 가장 근본적인 다섯 개의 수학 연산 중 하나가 모듈 형태라고 간주하기도 했다고 한다(즉 덧셈과 뺄셈, 곱셈, 나눗셈 그리고 모듈 형태라는 것이다).
모듈 형태의 가장 중요한 성질은 ‘대칭성’인데 대상물을 특정한 방법으로 변형시켰을 때 달라지지 않는 성질을 뜻한다. 여기에는 회전대칭(x축과 y축이 만나는 점을 중심으로 회전시켜 형태가 변하지 않는 성질, 예) 정사각형), 반전대칭(x축과 나란한 방향으로 거울을 놨을 때 변형 전과 달라지지 않는 성질, 예) 거울에 비친 상반부와 하반부), 병진대칭:(임의의 방향으로 평행이동시켰을 때 변형 전과 달라지지 않는 성질 ex) 무한히 큰 평면 전체를 덮을 수 있는 정사각형) 등이 있다.
[물체의 대칭, 출처 구글 이미지]모듈 형태 자체는 두 개의 복소수축(실수부와 허수부가 합쳐진 축) 상에서 정의되기 때문에 여기에는 실수부 두 개와 허수부 두 개가 합쳐진 네 개의 좌표로 구성되는 4차원의 공간이 만들어지는데 이를 ‘하이퍼볼릭 공간’이라 부른다고 한다(우리의 우주 공간도 여기에 해당한다).
아래 그림은 하이퍼볼릭 공간을 2차원 평면에 표시한 것으로 고도의 대칭성을 시각적으로 보여주고 있는데, 그림의 가장자리로 갈수록 형태가 왜곡되면서 대부분의 대칭적 성질들은 시야에서 사라져 버리게 됨을 보여준다.
[모리츠 애셔의 ‘원의 극한 (천국과 지옥), 출처 구글 이미지]하이퍼 볼릭 공간에 존재하는 모듈형태는 다양한 크기를 가지고 있지만, 이들 모두 동일한 기초로 성립되며 형성된다는 특징을 지니고, 모듈 형태는 그것을 이루는 구성요소의 개수로 구별 되는데 이것은 M1=1, M2=3로 나타내고 이 값을 나열해 놓은 것을 ‘모듈 급수’, ‘M-급수’라고 부르며, 여기에는 DNA처럼 어떤 특정한 모듈 형태에 관한 모든 정보가 함축되어 있다고 한다.
모듈 형태는 수학에서 매우 독립적으로 유지되는 분야이고 너무나도 복잡하고 또 대칭성만이 유일한 관심사이기 때문에 19세기가 되어서야 수학자에게 발견되었지만, 당시까지는 타원 방정식과 모종의 관계가 있을 것이라고 생각하는 사람이 아무도 없었다고 한다.
다니야마-시무라 추론
1955년 일본에서 열린 한 국제 심포지엄에서 일본의 수학자들은 아직 해결되지 않은 36개의 문제를 배포하였다. 이 중 네 개는 다니야마가 제안한 것이었는데 모두 모듈 형태와 타원 방정식 사이의 미묘한 관계를 시사하는 문제들이었다고 한다.
이후 다니야마는 “모듈 형태의 M-급수와 타원 방정식의 E-급수가 완전하게 일치한다"고 확신하게 되었다고 하는데, 이 것은 두 가지 면에서 그 의미를 찾을 수 있다고 한다. 첫째로 수학 중에서도 완전히 정반대의 분야로 취급되던 모듈 형태와 타원 방정식의 근본적인 상호 연관관계를 보여주며, 둘째로 이 발견 덕분에 이미 모듈 형태의 M-급수를 잘 알고 있던 수학자들은 이제 더 이상 E-급수를 새로 계산할 필요가 없어졌다는 것이다.
이후 다니야마는 "모든 종류의 모듈 형태는 자신의 M-급수와 동일한 E-급수를 갖는 타원 방정식을 마치 파트너처럼 갖고 있는 것이 아닐까? 모든 모듈 형태는 동일한 DNA를 갖는 타원 방정식과 1:1로 대응될지도 모른다"고 추측을 하며, 몇 개의 타원 방정식이 특정한 모듈 형태와 밀접한 관계가 있는 것을 구체적인 계산으로 증명해 보였지만, 학자들은 이를 우연의 일치라며 다니야마의 주장이 일반적인 경우에 성립하는 지를 증명하는 것은 거의 불가능하다고 생각했다고 한다.
이를 굳건하게 믿고 다니야마와 함께 그의 가설을 꾸준히 연구해 나간 것은 시무라뿐이었는데, 1957년에 시무라가 프린스턴 고등과학원에 객원교수로 초빙되어 가면서 두 사람의 공동 연구는 중단되었고, 1958년 11월 17일 다니야마 유타카가 결혼을 앞두고 갑자기 스스로 목숨을 끊음으로써 둘의 공동 연구는 끝내 뜻을 이루지 못하였다.
이후 시무라는 만사를 제쳐 놓고 타원 방정식과 모듈 형태 사이의 상호관계를 집중적으로 연구하기 시작하였고 시무라가 수집한 증거들이 어느 정도 쌓이게 되자 이 이론은 널리 수용되기 시작하여 <다니야마-시무라 추론>으로 불리게 되었다.
또한 ‘19세기(20세기?) 정수론의 대부’라 불리던 ‘앙드레 베유’(André Weil, 1906~1998, 프랑스 철학자인 시몬 베유의 오빠)가 이 추론을 받아들여 서방 세계에 소개하였고, 이후 이 추론을 입증할만한 더욱 확실한 증거를 발견하였다고 한다.
1960년대 후반에는 전 세계 수학자들이 <다니야마-시무라 추론>을 연구하였고, 하버드 대학 교수 배리 마주르는 <다니야마-시무라 추론>을 수학 역사상 최초로 전혀 다른 분야를 연결시켜 준 ‘수학의 다리’라는 의미에서 ‘로제타 석’(Rosetta stone)에 비유했다고 한다.
1960년대 말기에 프린스턴 고등과학원 연구원이었던 로버트 랭글런즈(Robert Langlands)는 <다니야마-시무라 추론>이 지닌 엄청난 잠재력에 경탄을 금치 못하며 모든 수학 분야 사이에 모종의 연결고리가 반드시 존재한다는 심증을 굳히고 ‘대통일 수학’(grand unified mathematics)을 꿈꾸면서 다른 수학자들도 이에 동참시켜 ’랭글런즈 프로그램’을 가동해 나갔다고 한다.
이후 <다니야마-시무라 추론>이 증명되지 않았음에도 불구하고 ‘만일 <다니야마-시무라 추론>이 사실이라면…’이라는 문장으로 시작되어 그것이 증명되었을 때 야기될 파급효과를 다룬 논문들이 수백 편씩 발표되었다고 한다.
어느덧 <다니야마-시무라 추론>은 수학이라는 거대 구조물을 지탱하는 주춧돌이 되어 있었는데, 그러나 증명되지 않는 한 그것은 언제 무너질지 모르는 위험스러운 구조물일 수밖에 없었다고 한다.
잃어버린 연결고리
1984년 가을 독일의 슈바르츠발트 중심부에 위치한 오버볼파흐에서 열린 정수론 학자들의 소규모 학회에서 사르브뤼켄 출신의 게르하르트 프라이(Gerhard Frey)는 ‘<다니야마-시무라의 추론>이 증명되기만 하면 <페르마의 마지막 정리>도 덩달아 증명된다’는 놀랄만한 발표를 하였다.
프라이의 주장을 정리하면 다음과 같다.
먼저 프라이는 <페르마의 마지막 정리>가 사실이 아니고 페르마의 방정식(1번 식)을 만족하는 정수해 (x, y, z)가 존재한다고 전제하면서 이를 A, B, C로 표현하였다(2번 식).
그리고 2번 식을, 페르마의 방정식에 정수해가 존재한다면 반드시 성립해야 하는 방정식으로 형태를 변경하였는데(3번 식), 이 것은 전형적인 타원 방정식이라는 것이었다. 즉, 일반적인 타원 방정식은 4번 식과 같은 형태를 가지는데, 여기에 5번을 대입하면 곧바로 프라이가 유도해 낸 방정식이 된다는 것이다.
그리고 프라이는 <다니야마-시무라의 추론>이 맞다면 모든 타원 방정식은 모듈적 성질을 가져야 하는데, '페르마의 방정식에서 유도된 3번 타원 방정식은 너무나 정상에서 벗어난 기형적인 방정식이라서 모듈 형태로 변환될 수 없어 보인다'고 주장하였다(이를 ‘장 피에르 세르’는 ‘엡실론 추측’이라고 명명하였다).
[한국에 내한하여 강의 중인 장 피에르 세르 교수, 출처 구글 이미지]따라서 프라이의 논리에 따르면 <다니야마-시무라의 추론>이 사실로 판명된다면 페르마의 방정식에 정수해란 있을 수 없으므로 <페르마의 마지막 정리>는 맞다는 것이다. 물론 프라이가 <다니야마-시무라의 추론>을 증명하지는 않았지만, 이로써 프라이에 의해 <다니야마-시무라 추론>과 <페르마의 마지막 정리> 간의 연결고리가 드디어 드러난 것이다.
엡실론 추측의 증명(‘리벳의 정리’로 바뀜)
‘프라이의 타원 방정식이 정말 모듈적 성질을 갖고 있지 않은지, 즉 프라이의 타원 방정식이 절대로 모듈 형태로 변환되지 않는지’에 대해 프라이는 엄격하게 증명을 하지는 못하였는데, 1986년 버클리의 캘리포니아 대학교수 ‘켄 리벳’(Kenneth Alan Ribet)이 연구 동료인 하버드 대학의 ‘배리 마주르’(Barry Mazur) 교수의 도움을 받아 엡실론 추측을 증명하였다.
이 증명이 발표되자, 전 세계 수학계는 드디어 페르마의 대정리를 정복할 수 있다며 흥분했다고 한다. 이를 통해 엡실론 추측은 '리벳의 정리'(Ribet's theorem)라는 새 이름을 얻었으며, 리벳은 이 추측을 증명한 업적으로 1989년에 페르마 상(Fermat Prize)을 수상했다.
[위: 배리 마주르, 아래: 케네스 리벳, 출처 구글 이미지]이렇게 해서 결국 <페르마의 마지막 정리>는 <다니야마-시무라의 추론>과 한데 엮여서 운명을 같이 하게 되었다. 즉, 이제 누군가가 “모든 타원 방정식은 모듈 형태로 변환된다.”는 것을 증명하기만 하면, 그것은 곧 페르마의 방정식에 정수해가 없다는 것을 의미하게 되어 <페르마의 마지막 정리>가 증명되는 것이 되었다.
이에 모든 수학자들은 희망을 품고 다시 한번 <다니야마-시무라의 추론>을 증명하기 위하여 의욕적으로 나섰으나 여전히 30년이 지나도록 모두 실패하자 수학자들은 다시 이 추론이 증명이 불가능하다며 비관적인 태도를 보이게 되었다.
<최종편에 계속>
