1. "무한으로 즐겨요~"라는 마케팅을 보고 나서 순진하게 무한 인분의 고기를 요구하는 사람은 없을 것이다. 이는 배부름을 보장한다는 거지, 실제로 '무한'의 개념을 동원하는 건 아니다. 그렇다면 진짜 무한은 어디로 갔을까? 잠시 고등학교로 돌아가 보자. lim 따위의 기호와 함께 수렴과 발산 개념을 익혔던 기억이 떠오른다. 여기에서의 무한은 '끝없이 움직이는 수'라는 느낌에 가깝다. 아! 그렇다면 팔자를 눕힌 무한이란 수는, 아무리 큰 수를 들이대도 이를 훌쩍 넘어 도망가 버리는 마라토너 같은 수인가? 음... 안타깝게도 정확한 개념은 아니다. 수학에는 '움직이는 수'라는 개념이 없기 때문이다.
2. 우리는 현실에서 무한을 찾지 못해 수학의 세계로 들어왔다. 무한이란 개념은 직관으로 가늠하기가 너무 벅차서 수학이란 도구를 사용할 필요가 있다. 그렇다면 무한은 언제부터 문제가 되었을까? 한 번쯤은 '제논의 역설'을 들어보았을 것이다. 1m의 거리를 아무리 달려도 일정한 속도로 1/2m, 1/4m, 1/8m... 이런 식으로 나누어 간다고 생각하면 영원히 도달하지 못한다는 그 이야기 말이다. 물론 지금에서 보면 어렵지 않게 풀린다. 결국 각기 걸리는 시간들을 무한하게 더해도 발산하는 게 아니라 유한한 수로 수렴하기 때문이다. 제논의 역설은 무한이란 놈을 잘 다루지 못해서 일어난 해프닝이라고 볼 수 있다. 이러한 초기 무한 개념을 '가무한'이라고 부른다.
3. 그렇다면 진짜 무한인 '실무한'의 세계는 어떨까? 여기서 무리수의 존재가 무한과 관련되어 있다. 무리수는 실직선에 존재하는 '이상한 수'인데, 이를 발견한 피타고라스는 무리수를 수로 인정하지 않았다. 우리는 중딩 시절 무리수를 '순환하지 않는 무한소수'로 배웠다. 그 말인즉슨, 살아생전 영원히 무리수의 끝을 알아낼 수 없다는 것이다. 무리수는 마치 실직선 위에 존재하는 심연과 같다. 놀라운 건 이 무리수가 정해진 실직선 구간에 미친 듯이 많다는 사실이다. 마치 대동강 물처럼 퍼내도 퍼내도 끝이 없다. 자연수, 정수, 유리수도 많지만 무리수는 이에 비할 바가 아니었다. 루트 2와 같은 대수적 무리수의 발견을 지나 파이와 e와 같은 초월수의 발견도 수학자들을 의아하게 했다. 어쨌든 이러한 거대한 수들의 크기를 본격적으로 측정하기 시작하면서, 무한의 기묘한 성질이 드러나기 시작했다. 당시 연구의 중심에는 게오르그 칸토어(Georg Cantor)가 있었다.
4. 칸토어는 집합 개념과 함수의 일대일 대응을 이용해서 무한에 접근했다. 가령 BTS 멤버들의 수를 센다고 하자. 먼저 그 집합 {RM, 진, 슈가, 제이홉, 지민, 뷔, 정국}이 있고, 크기 (기수 cardinality라고도 한다)를 측정하려면 원소의 개수를 세면 된다. 따라서 BTS라는 집합의 기수는 7이다. 그렇다면 짝수, 자연수, 정수, 유리수의 개수는 얼마나 될까? 일단 위 수들이 무한집합임을 염두에 두어야 한다. 세도 세도 끝이 없으니까. 자, 그럼 자연수와 짝수의 개수를 비교해보겠다. 어? 홀수를 빼먹은 짝수가 자연수보다 적지 않나? 직관이 그렇게 말하고 있다. 하지만 칸토어는 두 집합을 잇는 일대일 함수가 존재한다면, 두 집합의 기수는 같다고 보았다. 그리고 y=2x에 의해 짝수와 자연수 집합은 일대일 대응이다. 즉, 짝수와 자연수는 크기가 같다. 홀수와 자연수, 자연수와 정수, 심지어 정수와 유리수 또한 마찬가지다(대각화 증명 참조). 쉽게 말해 이들은 무한의 단계가 같다. 이처럼 무한은 여태 알고 있던 직관을 뒤집는다. 참고로 자연수, 정수와 같은 무한의 부류들은 '셀 수' 있다고 해서 가산(countable)집합이라고 한다.
5. 문제는 무리수가 가산 집합이 아니라는 점이다. 우리는 실직선에서 유리수가 아니면 전부 무리수인 것을 알고 있다. 그리고 그 둘을 포함한 실직선(실수) 전체의 수를 세려고 한다. 안타깝게도 실수 내에서 무리수는 유리수(자연수) 집합과 일대일 대응으로 세어지지 않는다. 둘은 무한의 계급이 다르다. 글로 설명하기는 어렵지만, 자연수로 0부터 1 사이의 실수를 모두 일대일 대응으로 열거할 수 있다고 가정(참고로 실수 전체와 구간 [0, 1]의 크기는 같다)하면, 특정한 대각선 수를 정의할 수가 있어서 열거되지 못한 수가 무조건적으로 발생한다. 즉 일대일 대응을 시킬 수가 없다는 것이다. 따라서 무리수를 포함한 실수는 유리수보다 큰 비가산(uncountable)집합이다. 얼마나? 가산집합의 크기를 알레프 널(ℵ0), 비가산집합의 크기를 ℵ1이라고 하면 ℵ1=2^ℵ0이다. ℵ0를 더하고 곱해도 여전히 ℵ0이지만, 지수 배로 올리는 순간 ℵ1이 된다. 러프한 증명은 다음과 같다. 0과 1 사이의 소수를 모두 이진법으로 표현하면, 두 개의 수를 ℵ0만큼 나열하여 경우의 수를 모두 표현할 수 있으므로 위 식이 성립한다. 정리하자면 유리수는 가산이고 실수는 비가산인데, 실수 = 유리수 + 무리수이므로 무리수는 비가산이라는 것이다. 사실상 무리수는 실수의 무한을 구성한다. 무리수를 실수의 심연이라고 부른 이유가 여기 있다.
6. 결국 실수가 가진 무한이란 특성은 무리수에서부터 온다는 것이 증명되었다. 그런데 칸토어는 나아가 새로운 질문을 던진다. ℵ0와 ℵ1 사이에 또 다른 무한이 있을까? 없지 않을까? 나아가 지수의 곱을 통해 만들어진 여러 무한의 단계가 ℵ0, ℵ1, ℵ2, ℵ3... 만 존재할까?이를 연속체 가설(continuum hypothesis, 후자는 일반 연속체 가설)이라고 한다. 우리가 1, 2, 3...으로 유한한 수를 나열하듯이, 무한한 수 또한 순서를 깔끔하게 매길 수 있느냐를 묻는 것이다. 1900년 수학자 힐베르트는 국제 수학자 대회에서 이 문제를 '힐베르트 문제' 중 1번으로 선정할 정도로 연속체 가설은 수학계에서 크게 주목받게 된다. 하지만 연속체 가설은 예상과 달리 웃픈 결말을 맞이했는데, 공리 체계의 완전성에 대해 괴델이 의문을 제기한 이후 '증명할 수도 없고 반증할 수도 없는' 문제가 되어버렸기 때문이다.
7. 갑자기 무한을 이야기하다가 공리 이야기로 빠진 이유가 있다. 칸토어는 무한을 다루기 위해 집합론을 사용했다. 문제는 집합론이 역설(러셀의 역설 등)을 만들어내는 등 수학의 기초로서의 자격이 흔들리고 있다는 사실이었다. 결국 참이지만 형식적으로 증명할 수 없는 명제가 존재한다는 것이 괴델의 불완전성 정리의 러프한 요점이다. 힐베르트와 같은 형식주의 수학자들이 꿈꿨던, 모든 문제는 '어쨌든 해결가능하다'고 믿었던 희망이 무너진 것이다. 연속체 가설도 그중 하나이다. 맞는다고 해도 문제없고, 아니라도 해도 문제없다. 즉, 새로운 공리로 끌어들여들이느냐 마느냐의 차이인 것이다. 한편, 이 문제가 현대 집합론의 기초 모델인 ZFC 공리계에서 반증될 수 없다고 증명한 폴 코헨은 필즈상을 탔다.
8. 여기까지가 <무한의 신비>를 요약한 내용이다. 무한에 관한 이야기는 수학과 학부생이면 빠르게 접할 수 있지만, 그 흥미로움에도 불구하고 타과생에게는 열려있지 않은 것이 사실이다. 이 책은 자세한 증명을 담고 있지는 않지만 적절한 스토리텔링으로 무한이 수학적으로 어떤 내용인지 쉽게 조감할 수 있게 도와준다. 하지만 수식이 많지 않은 것이 단점이 될 수도 있다. 개인적으로 집합론 자체가 어려운 과목은 아니기에 이 부분을 좀 더 자세히 담았으면 좋았을 거라고 생각한다. 한편 초반의 종교, 신비에 관련된 썰은 크게 흥미롭지 않았다. 오히려 중요한 내용은 중후반에 몰려있기에, 필요하다면 그 부분을 건너뛰고 무리수에 관한 챕터부터 파도 문제가 없을 것이다.
