페르마는 정말 여백이 부족해서 증명을 생략한 것일까?

세계수학의 해’를 맞아 체코 우표에 인쇄된 페르마의 마지막 정리 ⓒ Public domain(Wikimedia commons)

일반인들은 프랑스 출신의 피에르 드 페르마(1601~1665년)를 위대한 수학자라고 알고 있습니다. 하지만 그의 별명은 ‘아마추어 수학의 왕자’였습니다. 페르마는 정식으로 논문을 발표한 적이 없었습니다. 다른 수학자들과 편지를 주고받으며 수학에 관한 정보를 나눴을 뿐입니다. 


하지만 그가 애독한 디오판토스의 저서 《아리스메티카》 8번 문제의 여백에 남긴 글귀는 훗날 커다란 파장을 불러옵니다. 여백에는 다음과 같이 쓰여 있었습니다. “임의의 세제곱수는 다른 두 세제곱수의 합으로 표현될 수 없다. 임의의 네제곱수 역시 다른 두 네제곱수로 표현될 수 없다. 일반적으로 3 이상의 지수를 가진 정수는 이와 동일한 지수를 가진 다른 두 수의 합으로 표현될 수 없다.”

페르마, “수학자들의 자존심을 짓밟다”

디오판토스의 저서 《아리스메티카》에서 8번 문제가 있는 페이지 ⓒ Public domain(Wikimedia commons)

무한히 많은 정수들 중에서 Xⁿ+ Yⁿ= Zⁿ을 만족하는 정수해가 왜 하나도 없는지, 그 이유는 적어놓지 않았습니다. 다만 그는 얄밉게도 그 뒤 350년 넘게 전 세계 수학자들의 자존심을 여지없이 짓밟아 놓은 역사적인 주석을 달아놓았습니다.


“나는 경이적인 방법으로 이 정리를 증명했다. 그러나 책의 여백이 너무 좁아 여기에 옮기지 않겠다.” 이 메모는 ‘페르마의 마지막 정리’라는 이름으로 세상에 알려지면서 수학자들 사이에 가장 유명하고 가장 증명하기 어려운 정리로 남게 되었습니다. 페르마가 이 악명 높은 정리를 발견한 것은 1637년, 그의 나이 37세 되던 해였습니다. 


사실 그는 수학자가 아니라 지방의회 의원이자 법률가였습니다. 페르마의 주된 업무는 서민들의 이야기를 국왕에게 전달하는 것과 국왕의 포고령을 전국 각지에 분명하게 전달하고, 이것이 정상적으로 집행되는지 감독하는 일이었습니다. 그는 1665년 1월 12일에 숨을 거두기 직전에도 사법관으로 마지막 판결을 내렸다고 합니다. 


페르마는 생전에 파리의 수학자들과 거리를 두었고, 자신의 이름을 내세우지도 않았습니다. 어쩌면 그의 죽음과 함께 ‘페르마의 마지막 정리’도 역사에서 사라졌을 지도 모릅니다. 그의 장남인 클레망 사뮤엘이 아버지의 범상치 않은 업적을 후대에 알리기 위해 페르마가 생전에 남긴 주석들을 한데 수집해 출판한 덕분에 ‘페르마의 마지막 정리’는 오늘날까지 전해지게 됩니다.

페르마의 소수 정리, 18세기 수학천재 푸는데 7년 걸렸다!

레온하르트 오일러 ⓒ Public domain(Wikimedia commons)

예를 들어 18세기 가장 위대한 수학자였던 레온하르트 오일러는 소수에 관해 페르마가 남긴 유명한 정리 하나를 증명하려는 시도를 하였습니다. 소수는 1과 자기 자신 이외의 약수를 지니지 않는 수입니다. 모든 소수는 두 가지 종류로 분류될 수 있는데, 하나는 4n+1이고, 다른 하나는 4n-1입니다. 


이와 관련, 페르마는 소수 정리를 다음과 같이 정리했습니다. “4n+1로 표현되는 소수는 항상 두 제곱수의 합으로 표현될 수 있지만(13=2²+3²), 4n-1로 표현되는 소수는 이러한 방식으로 표현될 수 없다(19=?²+?²).” 문제는 간단한 문장으로 표현되고 쉽게 인식되는 반면, 증명은 엄청나게 길고 복잡합니다. 이것은 페르마가 남몰래 증명했던 수많은 정리 가운데 하나입니다. 


당대 최고의 수학자였던 오일러는 7년 동안 이 문제와 씨름하던 끝에 1749년 증명에 성공합니다. 페르마 사후 거의 100년 만에 그의 증명 가운데 하나가 풀렸던 것입니다. 이처럼 페르마가 남기고 간 문제들은 매우 근본적인 것부터 심심풀이용에 이르기까지 난이도가 다양했습니다. 

한 수학자의 실연으로 유명해진 ‘페르마의 마지막 정리’

오랜 세월 풀리지 않아 사람들의 관심에서 멀어져 가던 ‘페르마의 마지막 정리’에 생명을 불어넣은 사람이 있었습니다. 그는 독일 다름슈타트 출신으로 대학에서 수학을 전공했지만 부친에게 물려받은 사업을 이어가던 파울 볼프스켈입니다. 그는 한 여인을 열렬히 사랑했지만 그의 청혼은 단박에 거절당했습니다. 

와일즈가 페르마 동상 앞에서 찍은 사진 by Klaus Barner CC-BY-SA-3.0(Wikimedia commons)

하늘이 무너지는 듯한 절망감에 빠진 볼프스켈은 모든 것을 포기하고 자살을 결심합니다. 그는 충동적이고 경솔한 성품은 아니었습니다. 그는 자신의 자살 계획을 세밀하게 세웠습니다. 마침내 운명의 날이 밝아오고, 그날 밤 자정이 되면 그는 권총을 머리에 대고 발사하기로 마음먹었습니다. 


그는 가족과 친구들에게 일일이 편지를 쓰고 시계를 보니 아직 시간이 많이 남았습니다. 그래서 별생각 없이 수학 서적을 뒤져보며 시간을 보내기 시작했습니다. 이때 쿰머의 논문에 볼프스켈의 시선이 멈췄습니다. 그것은 당대 최고의 계산법이 도입된 논문으로 자살할 시간을 기다리는 수학자가 읽기에 안성맞춤이었습니다. 


볼프스켈은 쿰머의 계산을 한 줄 한 줄 따라가며 논문을 읽었습니다. 그러다 쿰머의 논리에 숨어있던 오류가 눈에 들어왔습니다. 쿰머가 내세운 가정이 과연 옳은 것인가? 만약 그가 잘못된 가정을 기초로 논리를 전개했다면 ‘페르마의 마지막 정리’는 생각보다 쉽게 증명될 수도 있지 않을까? 


볼프스켈이 쿰머의 논문에서 논리적 오류를 찾아가며 몰두해 있는 사이 이미 자정은 지났고 새로운 논리를 완성해갈 즈음 아침 해가 뜨고 있었습니다. 덕분에 그의 자살계획은 무산됐고, 그는 수학으로 인해 새로운 삶의 의미를 찾게 됩니다.


그리고 ‘페르마의 마지막 정리’를 증명하는 사람에게 자신의 재산 대부분을 기부하겠다고 발표했습니다. 그가 내걸었던 상금은 10만 마르크입니다. 그가 출연한 상금은 독일 괴팅겐의 왕립과학원에 기탁돼 ‘볼프스켈 상’이라고 정식 명명됐습니다. 이로 인해 ‘페르마의 마지막 정리’는 수학자가 아닌 타 분야 일반인에게도 널리 퍼지게 됐습니다. 


오랜 동안 수많은 사람들이 ‘페르마의 마지막 정리’를 풀기 위해 도전했습니다. 마침내 1995년 영국 출신의 미국 프린스턴대 수학과 앤드루 와일즈 교수가 완전히 증명하는데 성공했습니다. 와일즈 교수가 1995년 수학연보(Annals of Mathematics)에 발표한 논문(DOI:10.2307/2118559)에서 페르마의 정리를 증명한 과정은 무려 109쪽에 달합니다. 페르마에게 정말 여백이 부족했다면, 《아리스메티카》의 여백이 엄청 부족했던 것이 아닐까요? 




참고문헌
《페르마의 마지막 정리》, 1998, 사이먼 싱 지음, 박병철 옮김, (주)영림카디널
《과학동아》, 2006년 7월호, 페르마, 진짜 여백이 부족했어?, 104~107p.