'페르마의 마지막 정리' (7)

Ferma’s Last Theorem과 수학 영화 이야기

수학과 전쟁

한편 2차 세계대전이 일어나면서 수학 역시 전쟁의 소용돌이에 휘말리게 되었다.

1944년 ‘천재 중의 천재’로 유명한 헝가리 출신의 수학자이자 과학자인 존 폰 노이만(John Von Neumann)은 그의 책 《게임과 경제의 운영에 관한 이론》에서 ‘게임 이론’이란 용어를 처음 도입하였는데, 게임 이론은 게임의 구조와 그것을 진행하려는 인간의 성향을 수학적으로 서술하기 위해 노이만이 창안한 수학 분야이다.

그는 이를 더욱 복잡한 구조를 가진 게임, 즉 경제에 이르기까지 포괄적으로 적용할 수 있는 이론체계를 구축하였는데 2차 대전 이후 RAND사는 노이만의 아이디어가 냉전체제 아래서 벌어질 첩보전에 유용하게 적용되리라고 예상하여 그를 고용하기도 했고 군대에서도 그의 이론을 기본 교재로 채택하기도 하였다고 한다(그의 이론을 더욱 발전시켜 노벨 경제학상을 받은 미국의 천재 수학자 존 내쉬에 관한 영화 ‘뷰티플 마인드’도 강추^^).

[폰 노이만과 영화 ‘뷰티플 마인드’ 출처 구글 이미지]

전쟁에서 게임 이론보다 더욱 유용한 수학이 바로 ‘암호해독법’인데, 여기서는 독일군의 암호발생 장치인 ‘에니그마 머신’을 해독했던 전설적인 비운의 수학자 ‘앨런 튜링’의 이야기가 나온다(그가 동성애로 기소되어 화학적 거세형을 거부하고 자살하면서 청산가리를 넣은 사과를 먹다 남겼는데 이 모양이 애플의 로고가 되었다는 확인되지 않은 이야기가 있다).

앨런 튜링은 인공지능의 개념과 튜링 테스트(‘이미테이션 게임’이라고도 한다)를 개발하여 인공지능의 아버지로 불리기도 하는데, 그의 일대기가 영화화되어 상당한 인기를 끌기도 했고(영화 ‘이미테이션 게임’), 최근에 명예가 회복되어 새로 발행된 영국의 50파운드 화폐의 초상 인물로 스티븐 호킹 박사를 제치고 엘리자베스 여왕과 함께 선정되기도 하였다.

[영화 ‘이미테이션 게임’과 새로 발행된 50파운드 화폐에 엘리자베스 여왕과 함께 새로 들어간 앨런 튜링, 출처 구글 이미지]

수학과 컴퓨터

2차 대전이 끝난 후 노이먼과 앨런 튜링은 프로그램이 가능한 세계 최초의 컴퓨터를 각자 만들었는데, 그로부터 수십 년이 흐른 뒤, 수학에서도 ‘방대한 양의 계산’이라는 걸림돌은 점차 사라지게 되었다고 한다.

2차 대전이 끝난 뒤 컴퓨터 공학자와 수학자들은 500 이하의 모든 정수에 대하여 <페르마의 마지막 정리>를 모두 증명했고, 1980년대에 이르러 일리노이 대학의 새뮤얼 와그스태프(Samuel S. Wafstaff)는 25,000 이하의 모든 정수에 대하여 <페르마의 마지막 정리>가 성립함을 입증했다고 한다.

하지만 저자는 이 것은 단지 <페르마의 마지막 정리>가 올바른 정리임을 보여주는 증거들을 제시한 것뿐이고 수학자들은 여전히 엄밀하게 증명된 것은 아니라고 생각했다고 한다. 아래의 예처럼 몇 개의 숫자들에 대하여 하나의 정리가 성립됨이 입증되었다 해서 이로부터 무한히 많은 숫자에 이 정리가 적용된다고 믿는 것은 매우 위험한 도박행위와 다를 것이 없다고 한다.

그 예로 17세기 수학자들은 다음과 같은 수들(모든 자리에 3이 들어 있고 마지막이 1인 숫자)이 모두 소수라는 사실을 알아냈다.
31 ; 331 ; 3,331 ; 33,331 ; 333,331 ; 3,333,331 ; 33,333,331

그런데, 그다음 333,333,331도 당연히 소수일 거라고 생각하고 이를 일반적으로 증명할 수 있는 논리를 찾아내려고 노력했는데, 컴퓨터를 사용한 후에 그 수는 소수가 아니라는 점이 밝혀졌다.

333,333,331 = 17 x 19,607,843

또한 오일러는 페르마의 방정식에서 n=4인 경우, 하나의 항을 추가한 방정식에서도 정수해가 존재하지 않는다고 주장했으나(‘오일러의 추론’), 이 역시 1988년 하버드 대학의 노엄 엘키스(Noam Elikies)가 컴퓨터를 통해 x=2,682,440, y=15,365,639, z=18,796,760일 경우 각 수의 네 제곱의 합은 20,615,673의 네제곱과 일치한다는 것을 찾아낸 사례를 들고 있다.

또한 1791년 ‘가우스’가 14세의 나이에, 숫자가 증가함에 따라 나타나는 소수의 대략적인 빈도수를 예견했는데 1,000,000,000,000까지는 실제 개수보다는 항상 많았다는 ‘과대평가된 소수의 추론’도 1955년 스큐즈(S. Skewes)가 ‘10의 10승의 10,000,000,000,000,000,000,000,000,000,000,000승’(‘스큐즈의 수’라고 하는데, 이 수는 이 우주 안에 존재하는 모든 입자(약 10의 87승개)를 말판 삼아 체스게임을 벌인다고 가정했을 때 발생 가능한 모든 게임의 수와 대략 비슷한 정도하고 한다)이라는 수로 가면 그 추론이 틀리다는 것을 밝혀내기도 했다.  

[위: 노엄 엘키스, 아래: 스탠리 스큐즈와 그의 메모]

이런 사례들을 통해 수학자들 사이에서는 어쩌면 <페르마의 마지막 정리>도 애초부터 틀린 정리일 수 있고 그것이 반드시 성립한다는 보장은 어디에도 없다는 인식도 퍼져 나가고 있었다고 한다.

와일즈의 타원 방정식 연구

한편, 1975년 앤드루 와일즈는 케임브리지 대학의 대학원생이 되었는데, 엠마뉴엘 대학의 ‘존 코티스’ 교수를 지도교수로 하여 그의 지시에 따라 3년 동안 ‘타원 곡선’이라는 수학 분야를 전공으로 택해 그동안 연구해 왔던 <페르마의 마지막 정리>와는 다소 다른 길을 걷게 된 것으로 생각했다고 한다.

이 분야에서는 타원 방정식을 풀게 되는데(역사상 처음으로 타원 방정식을 연구했던 사람은 바로 《아리스메티카》의 저자인 그리스의 ‘디오판토스’였다(페르마도 특정 타원 방정식의 정수해가 단 하나뿐임을 증명하기도 했다고 한다).

여기서 정수해가 무한히 많을 수 있기 때문에 수학자들은 한정된 범위 안에서 정수해를 구하는 차선책으로 소위 ‘시계 대수학’(clock arithmetic)이라는 것을 강구해 냈다고 한다(0부터 n까지의 수직선을 잘라내어 만든 원으로 표현된다. 예를 들어 5시 대수학에서는 0부터 4까지의 수가 시계 모양의 원을 이루고 5와 0은 동일한 수이므로 0으로 대치된다).

여기서 ‘어떤 타원 방정식의 어떤 ‘n시 대수학에’서 해가 몇 개인지를 정리한 것을 가지고 ‘타원 방정식의 L-급수’(L-series) 내지 ’E-급수‘라는 개념이 나온다고 한다.

[타원 곡선과 타원 방정식, 출처 구글 이미지]

와일즈는 존 코티스 교수의 지도를 받으며 타원 방정식과 E-급수의 연구에 몰두하여 유능한 정수론 학자로서 명성을 날리게 되었는데, 이때까지만 해도 이런 업적이 훗날 <페르마의 마지막 정리>를 증명하는데 밑거름이 될 것이라는 생각을 전혀 하지 못했다고 한다.

<8편에서 계속>