미래에서 온 남자 폰 노이만 (1)
수학자 폰 노이만
『미래에서 온 남자 폰 노이만(The Man from the Future)』은“수학자이자 물리학자이자 컴퓨터공학자이자 경제학자이자 생명공학자였던 20세기 최고의 천재”로 인정받는 존 폰 노이만(John von Neumann)의 일생과 업적에 대해 다룬 책이다.
폰 노이만은 그동안 “암산 능력이 컴퓨터보다 빨랐다”는 전설 같은 일화들이나, 오펜하이머와 함께 맨해튼 프로젝트에 참여했다느니, 최초의 컴퓨터를 만들었다느니, 게임이론을 만들었다느니 하는 화제성 이야기들로 많이 알려지긴 했지만, 그의 업적들과 그것들을 만들어낸 과정에 대해 제대로 다룬 책을 찾아보기는 쉽지 않았다.
[노이만 출처 나무위키]이 책을 통해 (내용이 좀 어렵긴 하지만;;;) 그가 애초에 수학자로 출발해 그 분야에서도 천재적인 능력을 보여줬지만, 현재 우리 시대의 중요한 기술 테마들인 양자역학, 컴퓨터, AI, 생명공학, 핵융합, 우주과학 등의 영역에서도 처음으로 개념을 만들거나 엄청난 성과들을 만들어 냈고, 기후변화 같은 21세기의 문제들에 대해서도 정확하게 예측했다는 정말 믿기 어려운 사실들을 알게 되었다.
그가 만든 ‘게임 이론(Game Theory)’을 연구하여 수많은 경제학자들이 노벨상을 받았을 뿐만 아니라 그 이론이 현대 경제, 정치, 사회, 군사, 스포츠 등 모든 분야에 엄청난 영향을 미치고 있는 현재 상황을 보면, 정말 이 책의 제목처럼 폰 노이만은 미래에서 잠깐 다녀 간 사람이 아니었을까 하는 생각이 들게 만드는 '희대의 특별한 천재'라 인정하지 않을 수 없다.
이 책은 단순히 한 천재의 뛰어난 능력을 보여주는 기록으로서의 의미보다는, ‘20세기의 시작과 함께 태어난 한 천재가 인류 최대의 비극인 제1차, 제2차 세계대전의 소용돌이 속에서 엄청난 과학적 성과를 만들어 내게 된 과정’과 그를 중심으로 펼쳐지는 ‘20세기 과학기술의 벨 에포크 시대’를 수놓은 많은 천재들의 지적 교류와 창발의 파노라마를 살펴본다는 측면에서 너무나 흥미로운 책이라고 할 수 있다.
이 책은 과학 전문작가이자 저널리스트인 아난요 바타차리야(Ananyo Bhattacharya)가 2021년에 처음 영국에서 출간하여 2022년 《파이낸셜 타임스》와 TLS가 ‘올해의 책(Best Books of the Year)’으로 선정했을 뿐만 아니라 아마존 과학 분야 1위에 올랐다.
바타차리야는 옥스퍼드 대학교에서 물리학 학위를, 임페리얼 칼리지 런던에서 단백질 결정학으로 박사학위를 받았다. 이후 미국 샌포드 버넘 프레비스 의학발견연구소의 의학연구원을 지냈으며, 런던 왕립학회(Royal Society)의 정회원이다.
그는 15년간 학술지 《네이처》 등에서 선임 편집자를 지냈으며, 2014년부터 5년간 주간지 《이코노미스트》에서 커뮤니티 에디터와 과학 특파원을 역임했다고 한다.
[아난요 바타차리야 출처 구글 이미지]1장 부다페스트의 수학 천재
헝가리 현상의 비밀
“폰 노이만은 중증의 사고 중독자였으며, 그중에서도 가장 심한 중독 증상을 보인 분야는 수학이었다.”
— 피터 랙스(Peter Lax), 1990
1940년대에 미국의 원자폭탄 개발 프로젝트에 차출되어 로스앨러모스(Los Alamos)에 모인 과학자와 기술자들은 헝가리 출신 사람들을 가리켜 화성인(Martian)*이라 불렀다.
도저히 알아들을 수 없는 억양으로 떠들어대는데, 머리만은 기가 막히게 좋은 그들이 마치 외계인처럼 보였기 때문이다. 동시대에 한 나라에서 어떻게 걸출한 수학자와 과학자가 그토록 많이 배출될 수 있었을까?
*존 폰 노이만을 비롯하여 테오도르 폰 카르만, 게오르크 카를 폰 헤베시(1943년 노벨 화학상), 레오 실라르드, 유진 위그너, 에드워드 텔러, 그리고 폴 에르뒤시(Paul Erdős) 등을 일컫는다.
하지만 1963년 노벨 물리학상을 수상한 헝가리 태생 미국인 물리학자 유진 위그너(Eugene Wigner)*는 이 수수께끼 같은 ‘헝가리 현상’에 대한 질문을 받았을 때 이렇게 대답했다.
“그런 것은 없습니다. 헝가리 사람도 다른 나라 사람들과 비슷해요. 단, 설명이 필요한 딱 한 사람이 있는데, 그가 바로 존 폰 노이만입니다.”
[1963년 노벨상 수상 당시의 위그너(중앙) 부부와 그의 파소리 김나지움 친구 Tolnai 출처 구글 이미지]“설명이 필요한 딱 한 사람”
노이만 야노시 러요시(Neumann János Lajos, 영어 이름은 John Louis Neumann, 헝가리식 인명은 이름보다 성이 먼저 나온다)는 1903년 12월 28일에 아름다운 불꽃의 도시, 부다페스트에서 헝가리계 유태인인 아버지 믹사(Miksa)와 어머니 마기트(Margit)사이에서 삼형제 중 장남으로 태어났다.
당시 부다페스트는 오스트리아-헝가리 제국의 연방인 헝가리 왕국의 수도로서 중앙 유럽의 교역의 중심 도시였다. 다뉴브강 유역의 국회의사당은 당시 세계에서 가장 큰 건물이었고, 보자르(Beaux Arts) 건축 양식의 증권거래소는 유럽에서 가장 호화로웠으며, 안드라시 거리 밑에는 세계 최초의 전철이 달리고 있었다.
[부다페스트 야경 출처 구글 이미지]19세기의 마지막 20년 사이에 대다수의 유태인들이 헝가리로 이주하여 빠르게 성장하는 부다페스트에 정착했다. 부다페스트에서는 유태인을 차별하지 않았기 때문이다. 그러나 노이만을 포함한 오스트리아-헝가리제국의 유태인들은 좋은 시절이 언제 끝날지 모른다는 불안감에 시달리고 있었다.
1910년에 노이만의 아버지 믹사는 유럽의 심상치 않은 분위기를 감지하고 최악의 상태에 대비하기 위해 세 아들에게 특별한 교육을 실시했다. 열 살이 될 때까지 가정교사를 고용하여 집에서 교과과정과 외국어(프랑스어, 이탈리아어, 영어에 고대 그리스어와 라틴어까지)를 가르쳤다고 한다.
[어린 시절의 노이만(오른쪽) 출처 본문]난처한 질문을 쏟아낸 꼬마 신동
노이만은 어린 시절부터 ‘인간 계산기’로 정평이 나 있었다. 이미 여섯 살 때부터 여덟 자리 숫자(1000만 단위) 곱셈을 능숙하게 해냈다고 한다. 가정교사를 대경실색하게 만들었던 이 능력은 초등학교밖에 나오지 않았지만 100만 단위 덧셈과 곱셈을 척척 해내던 그의 외할아버지 야코프 칸에게 물려받았을 가능성이 높다.
[어린 시절의 노이만 출처 구글 이미지]하지만 노이만이 모든 면에서 뛰어난 것은 아니었다. 특히 악기 연주는 아무리 연습을 해도 별 진전이 없었다. 또 수학적 능력이 요구되는 체스 게임에도 그는 중급 이상의 실력을 보이지 못했고, 운동에도 별 관심이 없었다. 유일한 운동이란 장거리 산책(그것도 정장을 빼입은 채)뿐이었으며, 평생 격렬한 운동을 하지 않았다.
법률가에서 은행 투자가로 변신한 믹사(노이만의 아버지)는 삼형제가 어릴 때 어느 부동산 재벌로부터 도서관을 통째로 사들였다. 어린 노이만은 이곳에서 독일의 역사학자 빌헬름 옹켄(Wilhelm Oncken)이 집필한 『일반 세계사(Allgemeine Geschichte)』 전집을 독파했다.
가족의 식사에 초대된 외부인들은 식탁에서 난처한 질문을 퍼붓는 꼬마 때문에 식은땀을 흘리기 일쑤였다. 지그문트 프로이트(Sigmund Freud)의 가까운 동료였던 정신분석가 산도르 페렌치(Sandor Ferenczi)는 종종 어린 노이만과 진지한 대화를 나누었는데, 이 대화는 훗날 노이만이 두뇌와 컴퓨터의 유사성을 연구할 때 많은 도움이 되었을 것이다.
괴팅겐 대학교의 물리학자이자 세계 최고의 수학 연구소를 이끌던 루돌프 오르트베이(Rudolf Ortvay)는 어린 노이만과 친분을 쌓은 후 평생 가까운 친구로 지냈고, 부다페스트 대학교의 수학과 교수인 리포트 페예르(Lipót(Leopold) Fejér)는 노이만의 가정교사가 되어 고등수학을 가르쳤다.
1910년에 믹사는 헝가리 정부의 경제고문으로 부임했고, 그 후로 노이만의 집안은 부다페스트의 최상위 계층으로 급부상하게 된다. 그로부터 3년 후, 43세의 믹사는 국가 재정 관리에 헌신한 공로를 인정받아 오스트리아 황제 프랑크 요제프 1세로부터 세습 가능한 귀족 칭호를 하사받았다.
‘헝가리 현상’을 낳은 김나지움에 입학하다
노이만 일가가 유럽 귀족층에 합류한 바로 그해, 노이만은 8살 때부터 드디어 학교에 다니기 시작했다. 대학교에 진학할 학생들의 교육기관인 김나지움에 입학한 것이다. 훗날 맨해튼 프로젝트에 차출된 헝가리 출신 과학자의 대부분은 부다페스트에 있는 ‘3대 명문 김나지움’ 중 한 곳 출신이었다.
그중에서 제일 유명한 곳은 1872년에 모르 폰 카르만(Mór von Kármán, 헝가리의 교육 전문가이자 믹사처럼 귀족 호칭을 얻은 유태인)이 설립한 민타(Minta) 김나지움이었다.
이 학교에 다녔던 카르만의 아들 테오도르(Theodore von Kármán)는 학교를 졸업한 후 20세기 최고의 항공공학자가 되었는데, 제2차 세계대전이 끝나기 전에 독일과 미국 두 국가의 군용기를 모두 설계해 본 사람은 아마도 테오도르가 유일할 것이다.
두 번째로 유명한 루터교 재단의 파소리(Fasori) 김나지움*은 종교에 상관없이 모든 학생을 받아들였고 부다페스트에서 전문 기술을 가르치는 교사의 대부분이 유태인이었기 때문에 파소리 김나지움의 학생들도 대부분 유태인 집안의 아이들이었다.
* 정식 명칭은 Budafest-Fasori Evangélikus Gimnázium(부다페스트 파소리 복음학교)이다. 이 책에는 ‘파로시(Farosi)’로 잘못 나온다.
세 번째로 유명한 학교는 레알스콜라(reáliskola)인데, 여기 출신인 레오 실라르드(Leo Szilard)는 원자로와 핵폭탄의 에너지원인 연쇄반응을 최초로 발견했고, 또 다른 졸업생인 데니스 가보르(Dennis Gabor)는 3차원 입체영상 촬영 기법, 즉 홀로그램(hologram)을 발명하여 1971년에 노벨 물리학상을 받았다.
이들 중 믹사가 선택한 곳은 파소리 김나지움이었다. 민타 김나지움은 교육 방식이 너무 현대적이어서 신뢰가 가지 않고, 레알스콜라는 그가 중요하게 생각했던 고전 교육이 부실하다고 느꼈기 때문이다.
노이만은 헝가리 현상을 다음과 같이 평가했다. “그것은 일부 사회적 요인들이 동시에 작용한 우연의 산물이었다. 무언가 특별한 업적을 남기지 않으면 도태될 수도 있다는 불안감이 개인의 성취 동기를 극대화시켰다고 생각한다.”
게다가 20세기 초에 유태인 학자가 사회의 민감한 부분을 자극하지 않으면서 최고의 자리에 오를 수 있는 분야는 수학과 물리학뿐이었고, 이 분야에서 성공하면 공정한 대접을 받을 수 있다는 기대감도 한몫했다.
2장 무한대를 넘어서
수학을 위기에서 구한 10대 소년
“수학은 자연현상을 정확하게 이해하는 데 반드시 필요한 도구이다.”
— 다비트 힐베르트(David Hilbert), 1900
노이만은 학교에 입학하자마자 곧바로 두각을 나타내기 시작했다. 제일 먼저 노이만에게 관심을 가진 사람은 전설적인 수학 교사인 라슬로 라츠(László Rátz)였는데, 부다페스트에 그의 이름을 딴 거리가 있을 정도로 존경받는 인물이었다.
노이만을 몇 번 대면한 후 자신을 능가할 천재임을 간파한 라츠는 부친 믹사를 만난 자리에서 부다페스트 대학교에 노이만을 위한 특별 교과과정을 개설하여 자신이 직접 강의하겠다고 제안했다.
또한 노이만의 첫 번째 멘토이자 훗날 스탠퍼드 대학교의 수학과를 이끌었던 가보르 세고(Gabor Szegö)는 노이만을 처음 만난 자리에서 너무 흥분하여 감동의 눈물까지 흘렸다고 한다.
그러나 노이만에게 가장 큰 영향을 미친 사람은 세고를 비롯하여 여러 나라에서 수많은 스타를 배출한 헝가리의 유명한 수학자 리포트 페예르(Lipót Féjér)였다.
페예르와 한때 그의 제자였던 미하엘 페케테(Michael Fekete)는 10대 노이만을 가르치는 역사적 과업을 떠맡았다. 노이만에게 수학을 가르쳤던 세 교사(세고, 페예르, 페케테)의 공통 관심사는 "직교 다항식*(orthogonal polynomials)"이었기에, 이것은 자연스럽게 노이만이 발표한 첫 번째 논문의 주제가 되었다.
예를 들어 바다 위에서 일어나는 대형 선박의 요동은 여러 개의 직교함수(orthogonal function)로 분해할 수 있으며, 이것을 컴퓨터에 입력하면 다양한 상황에서 선박의 운동을 시뮬레이션할 수 있다. 직교함수는 현실 세계의 복잡다단한 데이터를 단순하게 만들어주기 때문에, 물리학이나 공학 분야에서 자주 사용된다.
노이만은 열일곱 살에 페케테와 공동으로 작성한 논문에서 러시아의 수학자 파프누티 체비셰프(Pafnuty Chebyshev)가 증기기관 피스톤의 왕복운동을 바퀴의 원운동으로 바꿀 때 효율을 극대화시키기 위해 개발한 체비셰프 다항식(Chebyshev polynomials)을 집중 분석하여 드디어 학계에 발을 내딛게 되었다.
미국의 수학자이자 물리학자인 프리먼 다이슨*은 노이만을 다음과 같이 평가하면서, “그는 모든 수학자들이 선망하는 능력을 처음부터 타고난 거지요.”라고 말했다.
노이만은 문제의 논리적 핵심을 직관적으로 간파한 후 간단한 논리 법칙으로 해결하곤 했다. 그의 첫 번째 논문이 대표적 사례이다. 복소수로 이루어진 복소함수의 제로를 찾는 문제는 기하학에 가까운데, 이런 것도 그의 사고를 거치면 순수한 논리 문제로 변환된다. 복잡한 기하학이 어느새 사라지고, 짧고 명쾌한 증명만 남는 것이다.
* 프리먼 다이슨은 20세기의 과학 부흥을 이끈 천재 물리학자이다. '슈뢰딩거-다이슨 방정식'으로 양자역학의 발전에 기여하고, ‘오리온 프로젝트’에서 핵 펄스 추진 로켓을 담당해 인류의 외우주 탐사에 이정표를 제시했다. 한편으로는 ‘ 다이슨 구체’를 고안하여 인류 문명의 장기적 생존 전략을 제시하기도 했다. 그 결과 로렌츠 메달(1966년), 엔리코 페르미상(1993년) 등 많은 상을 수상했고, ‘슈뢰딩거-다이슨 방정식’으로 수차례 노벨상 후보에 올랐으나 수상하지는 못했다.
붉은 공포를 피해
이 무렵 제1차 세계대전이 끝나면서 헝가리는 패전국이 되었지만, 부다페스트의 박치불러바드는 전선에서 멀리 떨어져 있었기에 이곳에 살던 부유한 주민들은 이전과 비슷한 삶을 누릴 수 있었다. 그러나 이들의 삶은 헝가리가 1919년에 (러시아의 뒤를 이어) 유럽 최초로 공산주의 혁명을 겪으면서 커다란 변화를 맞게 된다.
[1915년 군대를 방문한 노이만(왼쪽 위) 가족 출처 본문]혁명의 주도자는 헝가리계 유태인 벨라 쿤(Béla Kun)이었는데, 그는 레닌에게 “혁명정부에서 나의 역할은 프롤레타리아의 뜻을 하나로 모으는 것입니다. 많은 사람들이 저를 지지하고 있습니다”라고 장담했고, ‘레닌소년단’으로 불리던 공산당 집행자들은 가죽 제복을 입고 거리를 휘젓고 다니며 공무원과 부자들을 괴롭혔다.
그는 미국 원자력위원회 위원으로 위촉된 후 1955년 청문회에서 단호한 어조로 말했다. “저는 평생 동안 마르크스주의를 극렬하게 반대해 왔습니다. 특히 1919년 헝가리에서 3개월 동안 겪었던 일을 생각하면 지금도 치가 떨립니다.”
이후 권력을 잡은 사람은 헝가리의 전쟁영웅 미클로시 호르티(Miklós Horthy) 장군이었다. 다행히 호르티는 노이만 가족을 살려주었고, 노이만이 다니던 파소리 김나지움도 이 난리 통에서 기적적으로 명맥을 유지할 수 있었다.
노이만은 이 학교에서 1년 선배인 유진 위그너와 1년 후배이자 훗날 예일 대학교의 저명한 경제학 교수가 된 윌리엄 펠너(William Fellner)를 알게 되었는데, 이들은 죽는 날까지 가까운 친구로 지냈다.
위그너와 펠너는 학창 시절의 노이만을 회상하면서 “인기는 없었지만 특별히 미움도 받지 않았던, 그러나 자신이 얼마나 똑똑한지 너무나 잘 알고 있었던 소년”이라고 했다. 위그너는 “노이만과 대화를 나눌 때마다 그는 완전히 깨어 있고 나는 반쯤 잠든 기분이었다”고 했다.
새로운 기하학의 시대
1920년대 초, 유럽의 미술과 문학에는 사물의 겉모습을 넘어 그 이상을 들여다보려는 '모더니즘'이라는 혁명의 바람이 불어닥쳤다. 노이만의 학창 시절, 이 사조는 수학계에도 일진광풍을 몰고 왔고, 급진적 수학자들이 수천 년 동안 진리로 여겨왔던 일련의 가정을 재검토하기 시작했다.
수학계에 드리운 공포의 진원지는 2,300년 전에 유클리드(Euclid)가 집필한 『원론(Elements)』이었다. 수천 년 동안 기하학의 교과서로 군림해왔던 이 책에서 오류가 발견된 것이다. 유클리드의 기하학은 ‘너무나 자명하여 굳이 증명할 필요가 없는’ 5개의 공리(axiom, 또는 가정)에서 출발한다.
유클리드 기하학 제5공리(평행선 공리): 주어진 직선과 교차하는 임의의 직선 2개를 그었을 때, 두 내각(a와 b)의 합이 직각의 두 배(180도)보다 작으면 두 직선은 어디선가 반드시 교차한다. 그러나 a와 b의 합이 180도와 같거나 더 크면 두 직선은 아무리 연장해도 만나지 않는다. 즉, 두 직선은 서로 평행하거나 간격이 점차 멀어진다.
여기에 최초로 도전장을 던진 사람은 1830년대에 활동했던 헝가리 출신의 또 다른 천재 야노시 보여이(János Bolyai)와 러시아의 수학자 니콜라이 로바체프스키(Nicolai Lobachevsky)였다. 이들은 각자 유클리드가 제시했던 5개의 공리를 파고들다가, 제일 마지막의 ‘평행선 공리’가 틀렸다는 결론에 도달했다.
이들이 구축한 새로운 수학 체계는 오늘날 ‘쌍곡기하학(hyperbolic geometry)’으로 알려져 있다. 유클리드의 5개 공리가 모두 성립하는 표면은 평평한 평면인 반면, 쌍곡기하학이 성립하는 표면은 말안장처럼 휘어진 곡면이다.
[보여이, 로바체프스키 출처 구글 이미지]
[유클리드의 평행선 공리와 비유클리드 기하학의 굽은 공간 출처 본문, 구글 이미지]이후 1850년대에, 독일의 수학자 베른하르트 리만(Bernhard Riemann)이 또 한번의 도약을 이루어냈다. 그의 박사학위 논문은 수학 역사상 가장 위대한 걸작으로 꼽힌다. 당대 최고의 수학자 카를 프리드리히 가우스(Carl Friedrich Gauss)는 리만의 논문을 읽고 “찬란하게 빛나는 창조성의 극치”라며 감탄을 자아냈다.
리만의 곡면은 휘어지고 꼬인 정도가 하도 복잡해서 머릿속에 그리는 것이 거의 불가능하다. 리만 기하학은 임의의 차원을 갖는 공간(hyperspace)의 특성을 서술하고 있다. 50년 후 아인슈타인이 일반상대성이론을 완성했을 때, ‘휘어진 공간’을 리만 기하학으로 완벽하게 설명함으로써 새로운 기하학의 가치를 입증했다.
또한 19세기말에는 유클리드의 다른 가정과 증명에도 다양한 의문이 제기되면서, 일부 수학자들은 “기존의 기하학을 새로운 기초 위에서 처음부터 다시 정립해야 한다”고 주장했는데, 이 원대한 작업을 이끈 사람은 20세기 초 수학계에서 가장 큰 영향력을 발휘했던 독일의 수학자 다비트 힐베르트(David Hilbert)였다.
힐베르트의 목표는 기존 기하학으로부터 임의의 기하학 체계에 대한 논리를 이끌어내는 것이었다. 그가 1899년에 발표한 『기하학의 기초(Grundlagen der Geometrie)』는 유클리드의 『원론』을 잇는 명저인데, 여기서 그는 점, 선, 평면* 등 기존 기하학 용어의 의미를 완전히 무시했다('무정의술어(無定義術語')).
유클리드의 『원론』에는 23개의 정의가 있는데, 이 중 점, 선, 평면에 대한 정의는 다음과 같은데, 이 정의에 나오는 '부분', '폭', '길이' 등에 대한 정의는 어디에도 없다.
정의 1 - 점이란 부분을 갖지 않는 것이다.
정의 2 - 선이란 폭이 없는 길이이다.
정의 7 - 평면이란 직선이 그 위에 한결같이 늘어서 있는 면이다.
1900년 파리 세계수학자대회에서 힐베르트는 ‘20세기에 반드시 해결해야 할 수학 난제 목록 23개’를 발표했다. “우리 앞에 미지(ignorabimus)란 존재하지 않는다. 내가 보기에는 자연과학도 마찬가지다, 우리는 반드시 알아야 하며, 언젠가는 기어이 알게 될 것이다(Wir müssen wissen, wir werden wissen.)”
힐베르트의 결의에 찬 외침은 전 세계 수학자들의 심금을 울렸고, 그와 뜻을 같이한 사람들은 혼신의 노력을 기울이기로 다짐했다. 그러나 이 프로젝트는 출발하자마자 곧바로 난관에 부딪히게 된다.
수학자들은 낙원에서 쫒겨나는가?
1901년, 영국의 철학자이자 논리학자인 버트런드 러셀(Bertrand Russell)은 25년 전에 게오르크 칸토어(Georg Cantor)가 구축한 집합론(set theory)을 연구하던 중 지독한 역설을 발견했다.
러시아 태생의 독일인이자 독실한 개신교 신자였던 칸토어는 다양한 종류의 무한대를 발견했을 뿐만 아니라, “무한대 중에서도 다른 무한대보다 더 큰 무한대가 존재한다”는 사실을 최초로 알아낸 수학자이다.
집합론[*특히 ‘공리적 집합론(Axiomatic set theory)‘]은 수학자들 사이에서 매우 탁월한 이론으로 인정받고 있었다*. 수학은 궁극적으로 ‘무한히 많은 수’를 다루는 학문이므로 한 수학자가 소수(prime number)와 관련된 무언가를 증명하려 한다면, 무한히 많은 소수에 대해 일괄적으로 적용되는 정리를 증명하는 것이다.
수학자들은 칸토어의 이론을 무한집합(infinite set, 원소의 수가 무한히 많은 집합)의 연산과 관련 정리를 증명하는 강력한 도구로 받아들였고, 집합론을 통해 수학의 기초를 건설하고, 이를 바탕으로 모순이 없는 엄밀한 수학체계를 재구성할 수 있으리라는 희망에 부풀어 있었다.
칸토어가 세운 집합론의 기초에 대해 힐베르트는 “수학적 사고의 가장 놀랄 만한 성과임과 아울러 순수 지성적인 영역에서 인간이 구현해 낸 가장 아름다운 업적의 하나”라고 평가하기도 했다.
그로 인해 ‘연속체 가설’('유리수 집합보다는 크지만 실수 집합보다는 작은 무한집합이 존재하지 않는다')의 증명 문제는 현대수학에서 중요한 문제들을 모은 힐베르트의 23가지 문제에서 1번 문제의 자리를 차지하는 영광을 누렸다.
그러나 러셀이 발견한 역설은 이전에 제기되었던 반론보다 훨씬 심각하게 집합론의 근간을 뒤흔들었다. 러셀은 ‘자신의 원소가 아닌 집합의 집합’을 생각해 보았다.
이 집합이 자신의 원소가 아니면 애초의 정의에 의해 자신의 원소가 되어야 하고, 자신의 원소이면 역시 정의에 의해 자신의 원소가 될 수 없다. 이것이 바로 러셀이 발견한 역설(Russell's paradox)*이다. 세간에 널리 알려진 거짓말쟁이의 역설*도 이런 종류의 역설에 속한다.
* 러셀의 역설
자기 자신을 원소로 포함하지 않는 모든 집합들의 집합 Z={A |AA}에서 Z는 자기 자신에 속하는가, 또는 속하지 않는가? 만약 Z가 Z에 속한다고 하면, 정의에 따라 Z는 Z에 속하지 않게 된다. 하지만 만약 Z가 Z에 속하지 않는다고 하면, 또다시 정의에 의해 Z는 Z에 속할 수밖에 없다. 어느 경우이든 우리는 모순에 도달하게 된다.
러셀은 이 패러독스를 알기 쉽게 설명하기 위하여 "세비야의 이발사"를 예로 들었는데, 이는 다음과 같다. 만약 세비야에 스스로 이발을 하지 않는 모든 이의 이발만을 해주는 이발사가 있다고 하자. 이 이발사는 스스로 이발을 해야 할까? 만약 스스로 이발을 하지 않는다면, 그 전제에 의해 자신이 자신을 이발시켜야 하고, 역으로 스스로 이발을 한다면, 자신이 자신을 이발시켜서는 안 된다. 이는 바로 러셀의 역설과 동일한 문제에 걸리는 것이다.
[거짓말쟁이의 역설]
크레타 섬에 살고 있는 에피메니데스(Epimenides)는 어느 날 ‘나는 거짓말쟁이이다!“라고 주장했는데 이 문장이 참인지 거짓인지를 판별하려고 하면 당장 역설적인 결과를 낳게 된다는 것이다.
만약 이 문장이 참이라고 가정하면 에피메네디스는 거짓말쟁이이지만 그는 분명 사실을 말한 것이라서 거짓말쟁이가 아니게 된다. 만약 이 문장이 거짓이라고 가정한다면 거짓말쟁이가 아닌 에피메니데스는 자신을 거짓말쟁이라고 거짓말을 한 게 되어 역시 모순이 된다.
러셀의 역설은 수학의 기초를 송두리째 흔들었고, 힐베르트의 프로그램에도 심각한 타격을 입혔다. 힐베르트는 급히 수학자들을 한 자리에 모아놓고 “우리는 칸토어가 창조한 낙원을 지켜야 한다. 이 세상 어느 누구도 우리를 이 낙원에서 쫓아낼 수 없다”며 돌발상황에 동요하지 말 것을 당부했다.
당시 노이만은 앳된 소년이었지만 이 막중한 임무를 수행할 준비가 되어 있었다. 그는 열한 살 때 유진 위그너와 주말 산책을 하면서 집합론의 장점에 대해 열띤 토론을 벌였고, 열일곱 살이 된 1921년에는 위기에 빠진 수학의 구원투수를 자처하며 힐베르트에게 힘을 실어주었다.
수학에 관한 한 겁낼 것이 없었던 젊은 노이만은 러셀의 역설로부터 ‘숫자’를 구해냄으로써 첫 번째 승점을 올리게 된다(* 이 부분과 아래 내용은 사실 아직 이해를 못하고 있다;;;).
칸토어의 이론에서 수의 개념은 집합의 두 가지 본질적 특성인 ‘기수성(cardinality)’ 및 ‘서수성(ordinality)’과 깊이 관련되어 있다. 기수성은 집합의 크기를 나타내는 척도이다. 반면에 서수성은 집합의 원소들이 배열된 순서를 나타내며, 순서를 의미하는 서수(첫 번째, 두 번째, 세 번째 등등)와 관련되어 있다.
기수성은 ‘동일한 기수성을 가진 집합들의 집합’으로 정의된다. 즉 5개의 물체로 이루어진 집합은 내용물의 종류에 상관없이 5개로 이루어진 다른 집합들과 기수성이 같다. 서수성도 비슷한 방식으로 정의되어 있다. 그런데 러셀의 역설은 집합에서 초래된 결과이므로, 수학을 위기에서 구하려면 숫자부터 구하는 것이 상책이다.
노이만은 ‘집합을 자유롭게 다루면서 정리를 증명하려면 “모든 집합으로 이루어진 집합(set of all sets)”과 관련된 모든 논의를 제거해야 한다’고 생각했다. 칸토어의 낙원을 구원하기 위한 첫걸음을 내디딘 것이다.
학생 노이만이 발표한 논문은 대학자의 손을 거쳐 탄생한 걸작을 방불케 했다. 논문의 첫 단락은 달랑 한 문장뿐이다. “본 논문의 목적은 칸토어의 서수에 대한 개념을 구체적으로 분명하게 확립하는 것이다.” 그 후로 17단계에 걸쳐 신중한 논리가 펼쳐지는데, 총 분량은 10페이지밖에 안 된다.
노이만은 수학과 다소 동떨어진 일상적인 문체로 논리의 포문을 열었다. “첫 번째 서수(1st)를 공집합(empty set, 원소가 없는 집합)으로 정의하자.” 그러고는 재귀적 관계에 입각하여 더 큰 서수를 그보다 작은 수의 원소를 갖는 집합으로 정의해 나갔다.
즉 두 번째 서수(2nd)는 첫 번째 서수(공집합)만을 포함하는 집합이고, 세 번째 서수(3rd)는 두 번째 서수(2nd)와 첫 번째 서수(1st)를 포함하는 집합(즉, ‘공집합 자체’와 ‘공집합으로 이루어진 집합’의 집합)이며, 네 번째 서수(4th)는 앞서 정의한 3rd, 2nd, 1st를 포함하는 집합이고 … 이런 식으로 계속된다. 이것은 레고 블록을 이용하여 점점 더 높은 탑을 쌓아나가는 과정과 비슷하다.
첫 번째 서수는 붉은색 블록 1개로 쌓은 탑이고, 두 번째 서수는 붉은색 블록 1개와 붉은색-노란색 블록을 2층으로 쌓은 ‘ㄴ자형 탑’에 해당하며(다음 그림 참조), 이 탑 쌓기 과정은 당신이 선택한 서수에 도달할 때까지 계속된다. 이렇게 하면 기수와 서수를 일대일로 대응시켜서 기수를 정의할 수 있다.
0은 첫 번째 서수(공집합)이고, 1은 두 번째 서수(2nd, 원소가 1개인 집합), 2는 세 번째 서수(3rd, 원소가 2개인 집합)이고 … 이런 식으로 계속된다. 논문의 핵심은 이것이 전부다. 이 논문은 거의 100년이 지난 지금까지도 기수와 서수를 정의하는 표준으로 남아 있다.
[서수성에 대한 노이만의 접근법을 ‘레고 블럭 쌓기’로 비유한 그림 출처 본문]종이 한 장에 들어갈 단순한 공리
노이만의 창의적인 논문에도 불구하고, 수학에 드리운 먹구름은 여전히 집합론을 위협하고 있었다. 고등학교 졸업을 앞둔 노이만은 어려운 상황을 극복하는 데 어떻게든 힘을 보태고 싶었으나, 당장은 아버지와의 의견충돌을 해소하는 것이 급선무였다.
천재 아들이 지나칠 정도로 수학에만 집중하는 것을 못마땅하게 여겼던 믹사는 노이만의 20년 선배이자 저명한 항공공학자인 테오도르 카르만(Theodore Kármán)을 찾아가 “우리 아들이 대학에 진학할 때 수학과를 선택하지 않도록 말려달라”고 부탁했다. 수학으로는 돈을 벌 수 없다고 철석같이 믿었기 때문이다.
이에 카르만은 노이만에게 일종의 타협안을 제시했다. 당시는 화학산업의 전성기였기에, 노이만은 베를린 대학교에서 2년 동안 화학을 공부한 후 취리히의 스위스연방공과대학(ETH)에서 화학공학을 전공하기로 했다. 그리고 이와 동시에 부다페스트 대학교에서 수학과 박사학위 과정에 입학하기로 부친과 합의를 보았다.
[스위스 연방공과대학 출처 구글 이미지]고등학교(김나지움)를 졸업한 후 1921년 9월의 어느 날, 노이만은 약속했던 대로 아버지와 함께 베를린으로 가는 기차에 올랐고, 1923년 9월에 베를린에서 기초화학 과정을 마쳤다. 그 후 스위스연방공과대학 입학시험에 우수한 성적으로 합격하여 3년 동안 화학공학을 공부하였다.
베를린에서는 20년 전에 힐베르트에게 수학을 배웠던 에르하르트 슈미트(Erhard Schmidt, 나중에 히틀러에 충성하였다고 비난 받음)를 스승으로 삼았고, 취리히에서는 힐베르트의 제자 중 최고 실력자로 꼽히는 헤르만 바일(Herman Weyl)과 친분을 쌓았다. 둘은 10년 후 프린스턴 고등연구소에서 재회를 하게 된다.
열아홉 살의 노이만은 자신보다 나이가 두 배쯤 많은 수학자들과 교류하면서 심혈을 기울여 박사학위 논문을 써 내려갔고, 1922년~1923년 사이에 논문의 초안을 집합론의 대가인 아브라함 프렝켈(Abraham Fraenkel)에게 보냈다.
프렝켈은 그때의 일을 다음과 같이 회상한다. “요하네스 폰 노이만 … 생전 들어본 적 없는 낯선 이름이었다. 논문 제목은 「집합론의 공리화(The Axiomatization of Set Theory)」였는데, 모든 내용을 이해하진 못했지만, ‘발톱만으로 사자를 알아보듯이(ex ungue leonem)’* 뛰어난 걸작임을 느낌으로 알 수 있었다.”
*이 표현은 스위스의 수학자 요한 베르누이(Johann Bernoulli)가 당시 들어본 적 없는 아이작 뉴턴(Isaac Newton)의 원고를 읽고 제일 먼저 했던 말이다.
[아브라함 프랭켈 출처 구글 이미지]한편 러셀은 본인이 찾아낸 역설을 극복하기 위해 ‘형태론(theory of types)’을 새로 구축하여 1910년~1913년에 걸쳐 세 권의 묵직한 책으로 알프레드 노스 화이트헤드(Alfred North Whitehead)와 공동 집필한 『수학원리(Principia Mathematica)』에 자세히 소개했다.
그러나 러셀의 형태론은 내용이 장황하여 다루기가 매우 까다로웠고, ‘서술 가능한 것’과 ‘서술 불가능한 것’에 엄격한 한계를 두었기에 수학의 영역을 제한하는 부작용을 낳았다. 이와 반대로 노이만의 접근법은 모든 공리가 종이 한 장에 들어갈 정도로 단순하면서도 아름답다.
노이만은 2개의 서로 다른 모임(collection)을 구별함으로써 러셀의 역설을 해결했다. 그는 이것을 ‘I. Dingen(1개인 것)’과 ‘II. Dingen(2개인 것)’으로 정의했는데, 요즘 수학자들은 이것을 각각 집합(set)과 클래스(class)라 부른다. 노이만은 클래스를 ‘특성을 공유하는 집합들의 모임’으로 엄격하게 정의했다.
그리고 논문이 출간된 1925년에는 힐베르트와 개인적 친분을 맺게 된다. 노이만은 힐베르트와 그 무렵에 새로 떠오른 양자 이론(quantum theory)에 대해서도 다양한 의견을 주고받았다. 그리고 다음 해인 1926년, 22세의 노이만은 스위스연방공과대학 화학공학과를 졸업하고 박사학위 과정에 무난히 합격했다.
자신이 추진 중인 수학 되살리기 프로그램이 순조롭게 진행된다고 느낀 힐베르트는 1928년에 추종자들이 모인 자리에서 “수학이 완전하고(complete) 일관적이면서(consistent) 결정 가능하다(decidable)는 것을 증명해야 한다”고 역설했다. 수학에 영원한 안정성을 보장하는 원대한 작업이 시작된 것이다.
그러나 완전한 수학을 구축하겠다는 힐베르트의 꿈은 얼마 지나지 않아 물거품이 되어버렸다. 10년도 채 지나기 전에 뛰어난 수학자들이 “수학은 완전하지 않고 일관되지 않으며, 결정 가능하지도 않다”는 끔찍한 사실을 증명했기 때문이다(* 괴델의 불완전성 정리).
생전에 힐베르트는 “문제가 해결 가능하건 불가능하건 간에, 기계적인 절차를 단계별로 적용해 나가면서 문제의 본질에 체계적으로 접근해야 한다”고 강조했다. 그리고 노이만은 이 접근법을 자신만의 방식으로 구현하여 혁명적인 기계를 만들어냈다. 그렇다. 그 기계란 바로 지구인의 삶을 송두리째 바꿔놓은 컴퓨터였다.
<2편에서 계속>
