당신이 1부터 숫자를 세어 올라간다고 상상해 보자. 얼마 가지 않아 이상한 숫자들을 만나게 된다. 2는 1과 2로만 나누어 떨어진다. 3도 마찬가지다. 4는? 4는 2로 나누어 떨어진다. 2×2다. 5는 다시 1과 5로만 나눠진다. 6은 2×3이다. 7은? 오직 1과 7. 이런 식으로 계속 가다 보면, 어떤 숫자는 다른 숫자들의 조합으로 만들어지고, 어떤 숫자는 절대 쪼개지지 않는다는 걸 알게 된다. 1과 자기 자신으로만 나누어 떨어지는 수. 더 이상 분해할 수 없는, 수의 원자 같은 존재.
모든 자연수가 결국 이 '소수(素數)'들의 곱으로 표현된다. 12는 2×2×3이다. 60은 2×2×3×5다. 5040은 2×2×2×2×3×3×3×5×7이다. 소수는 숫자를 이루는 벽돌이고, 모든 수는 그 벽돌로 지어진 건축물이다. 그래서 소수를 이해하는 것은 모든 수를 이해하는 첫걸음이다.
처음엔 소수가 빽빽하게 나타난다. 2, 3, 5, 7. 10까지 가는 짧은 여정에서 벌써 4개나 만난다. 10부터 20까지는? 11, 13, 17, 19. 여전히 4개지만, 간격이 벌어지기 시작한다. 20부터 30까지는 23, 29. 이제 2개뿐이다. 100까지 가면? 25개다. 처음의 빽빽함은 사라지고, 점점 드물어진다. 1000까지는 168개. 비율로 따지면 16.8%. 1만까지는 1229개로, 12.3%. 10만까지는 9592개로, 9.6%. 100만까지는 78498개로, 7.8%. 1000만까지는 664579개로, 6.6%.
숫자가 커질수록 소수는 계속 희박해진다. 지표면에서 밖으로 나갈수록 희박해지는 분자들의 밀도처럼. 하지만 절대 끝나지 않는다. 유클리드가 2300년 전에 증명했듯, 소수는 무한하다. 아무리 큰 수까지 가더라도 그 너머에는 반드시 또 다른 소수가 기다리고 있다.
그렇다면 다음 소수가 어디에 나타날지 미리 알 수 있을까? 수천 년 동안 수학자들은 이 질문에 매달렸다. 소수들 사이의 간격을 재고, 숫자를 늘어놓고, 표를 만들고, 온갖 규칙을 시도해 봤다. 때로는 소수가 바로 옆에 붙어 나타난다. 3과 5, 5와 7, 11과 13, 17과 19, 29와 31. 이들을 쌍둥이 소수라고 부른다. 차이가 2밖에 안 난다. 때로는 4만큼 떨어진 사촌 소수도 있고, 6만큼 떨어진 섹시 소수(Sexy prime, 6을 뜻하는 라틴어에서 유래한 명칭이다)도 있다. 하지만 때로는 수십, 수백 간격으로 텅 비어 있기도 하다. 마치 사막처럼. 패턴은 보이지 않았다.
그러던 중, 19세기 초에 카를 프리드리히 가우스는 겨우 15살 때 혁명적인 아이디어를 떠올렸다. 개별 소수를 예측하는 대신, 전체 분포를 보자는 것이었다. "N까지 소수가 대략 몇 개나 될까?" 그는 로그표를 들여다보며 패턴을 발견했다.
100까지는 25개의 소수가 있다. 그럼 숫자를 100배 늘려서 10,000까지 가면? 소수도 100배인 2,500개일까? 아니다. 겨우 1,229개밖에 안 된다. 숫자는 100배 늘었는데 소수는 49배만 늘었다. 100만까지 가면? 10,000배 늘었는데 소수는 겨우 3,143배만 늘었다. 이 '점점 느려지는 증가 속도'에 정확한 규칙이 있다는 걸 발견한 것이다. 이것만으로도 엄청난 진전이었다. 개별 나무는 예측 불가능하지만, 숲 전체는 법칙을 따른다.
하지만 가우스의 근사는 완벽하지 않았다. 정확한 값과 약간씩 어긋났다. 그 오차는 무작위가 아니었다. 오차 자체에 패턴이 있었다. 실제 소수 개수는 예측값 주변에서 파도처럼 요동쳤다. 때로는 많고, 때로는 적었다.
19세기 중반, 수학자들은 더 깊은 도구를 꺼냈다. 실수만으로는 부족했다. 그들은 허수까지 포함한 복소수의 세계로 들어갔다. 1차원 수직선이 아니라, 2차원 평면으로 된 숫자로 채운 세계. 그 세계에서 소수의 정보를 모두 담은 특별한 공식을 만들었다. 소수라는 현상을 더 근본적인 수학적 구조로 분해한 것이다. 그 공식의 계산값을 0으로 만드는 값들을 찾으면, 소수의 분포를 재구성할 수 있다는 것을 깨달았다.
마치 악보의 음표들이 음악을 결정하듯, 그 0이 되는 점들이 소수를 결정한다. 그래서 그들은 계산을 시작했다. 그 공식에 이 값 저 값에 대입하며 0이 되는 지점을 찾기 시작했다. 컴퓨터가 없던 시대, 모든 계산은 손으로 했다. 종이와 연필로, 대수와 미적분으로. 처음엔 몇 개만 찾아냈다. 그런데 계속 계산할수록 점점 더 많은 점들이 나타났다. 10개, 20개, 50개. 그리고 그들은 이상한 걸 눈치챘다. 이 점들이 평면 위에 무작위로 흩어지지 않았다. 거의 대부분이 특정한 일직선 위에 놓여 있었다.
정확히 어떤 일직선인가? 2차원 평면을 가로세로로 나눠서, 가로축을 실수, 세로축을 허수라고 하자. 그 일직선은 이 평면에서 수직으로, 정확히 실수 부분이 0.5인 지점을 관통한다. 마치 깊은 바닷속에 말뚝들이 일렬로 박혀 있는 것처럼.
왜 하필 0.5인가? 왜 0.49도 0.51도 아니고? 왜 조금씩 어긋나지 않고 완벽하게 정렬되어 있는가? 마치 누군가 우주를 설계할 때, "소수의 비밀은 이 선 위에 숨겨라"라고 명령한 것처럼 말이다. 물론 그 존재는 전지전능한 날아다니는 스파게티 괴물일 것이다.
그런데 더 이상한 건, 이 정렬이 소수의 분포와 연결되어 있다는 것이었다. 그 일직선 위 점들의 위치가 소수 분포의 요동을 만들어냈다. 첫 번째 점은 첫 번째 요동을, 두 번째 점은 두 번째 요동을. 모든 요동을 합치면, 소수가 나타나는 패턴이 나온다.
1859년, 베른하르트 리만이라는 독일 수학자가 대담한 추측을 내놓았다. "이 중요한 점들이 전부, 예외 없이, 그 일직선 위에만 존재할 것이다." 그는 이걸 증명하지 못했다. 단지 "아마도 그럴 것이다"라고만 썼다. 하지만 만약 이게 사실이라면, 소수에 대한 많은 질문에 답할 수 있다.
165년이 지났다. 그 사이 수학자들은 손으로, 계산기로, 컴퓨터로 점들을 계산했다. 지금까지 계산된 10조 개의 점이 단 하나의 예외도 없이 그 일직선 위에 있다. 그런데 증명되지는 않고 있다. "지금까지 그랬으니 앞으로도 그럴 것이다."는 수학에서 증명이 아니다. 어디선가, 아주 큰 숫자 중 하나가 그 선을 벗어날 수도 있다. 그 순간 모든 게 무너진다. 하지만 그런 점은 나타나지 않았다. 그렇다고 증명이 나타난 것도 아니다.
왜 증명이 이렇게 어려운가? 왜 165년 동안 수천 명의 천재들이 도전했는데 실패했는가? 어쩌면 우리가 쓰는 도구가 아직 부족한 건지도 모른다. 어쩌면 완전히 새로운 수학이 필요한 건지도.
하지만 이건 시작일 뿐이었다. 소수의 분포는 파도가 바위들에 부딪치면서 생긴 물결처럼 보인다. 그 일직선 위에 박힌 점들이 소수에 진동을 만들어낸다. 어떻게? 각 점이 하나의 파동을 만든다. 마치 악기의 현이 진동하면서 소리를 내듯. 첫 번째 점은 낮은 주파수로 진동한다. 두 번째 점은 조금 더 높은 주파수. 세 번째는 더 높은 주파수. 점이 높이 올라갈수록, 만들어내는 파동의 주파수도 높아진다. 그리고 이 모든 파동이 동시에 진동하며 서로 간섭한다. 수면에 여러 개의 돌을 동시에 던졌을 때 물결들이 만나는 것처럼. 어떤 지점에서는 파동들이 같은 방향으로 겹쳐서 진폭이 커진다. 어떤 지점에서는 반대 방향으로 만나 상쇄된다. 그 결과가 소수의 분포다.
소수가 예상보다 많이 나타나는 구간은 파동들이 보강간섭을 일으킨 곳이다. 소수가 적게 나타나는 구간은 파동들이 상쇄간섭을 일으킨 곳이다. 마치 소수라는 현상이, 더 깊은 곳에서 울려 퍼지는 수많은 음파의 합성일 뿐인 것처럼. 마치 우리가 보는 건 표면의 물결이고, 진짜 실체는 바다 밑 바위들인 것처럼.
그런데 이 이야기는 여기서 끝나지 않는다. 20세기 중반, 프린스턴 고등연구소에서 물리학자들이 원자를 연구하고 있었다. 무거운 원자들의 원자핵은 완벽한 구가 아니라 럭비공처럼 생겼다. 그 주변을 도는 전자들은 양자역학의 지배를 받는다.
원자핵 주변의 전자들은, 고전역학에서 말하던 것처럼 태양계 주변의 행성들처럼 돌고 있는 것이 아니다. 원자핵은 방 한가운데에 있고, 전자들은 그 주변에 놓인 의자에 앉아있는 유령들이다. 유령 관객들은 다른 자리로 갈 수는 있지만 어찌 되었든 의자에만 앉을 수 있다. 친구와 같이 있고 싶다고 의자를 붙여 앉는 건 불가능하다. 그런데 이 의자들의 배치 간격은 어떠한 규칙에 따라 서로 멀기도 하고 가깝기도 하다.
하지만 원자핵이 찌그러진 경우, 전자가 앉을 수 있는 위치를 정확히 계산하기 어렵다. 대칭성이 깨져서 상호작용이 복잡해지기 때문이다. 그래서 물리학자들은 통계적으로 접근했다. "전자들 사이의 간격이 어떤 분포를 따를까?" 그리고 놀라운 패턴을 발견했다. 전자들은 서로 밀집하지 않으려 해서 너무 가까운 간격은 드물다. 그렇다고 아주 먼 간격도 드물다. 중간 정도 간격이 가장 흔하다. 이 분포의 곡선을 그렸더니, 어디선가 본 것 같았다.
1972년, 프린스턴 고등연구소에서 어느 수학자와 물리학자가 우연히 대화를 나눴다. 수학자는 소수를 연구했고, 물리학자는 원자를 연구했다. 그런데 그들이 보는 그래프가 똑같았다. 원자와 소수가 무슨 관계인가? 하나는 물리적 실체고, 하나는 추상적 개념인데. 더 깊이 파고들자 연결고리가 보이기 시작했다. 혼돈적이지만 양자역학을 따르는 시스템이 모두 같은 패턴을 따른다. 마치 자연이 같은 수학적 템플릿을 여러 곳에 복사, 붙여 넣기 한 것처럼. 2000년대 들어, 양자컴퓨터 연구자들도 같은 패턴을 발견했다. 어쩌면 이건 우연이 아니라, 자연의 더 깊은 구조를 반영하는 거울인지도 모른다.
플라톤은 수학적 대상이 물리적 세계와 독립적으로 존재한다고 믿었다. 개별 물체는 사라져도 '3'이라는 수는 영원하다. 이 관점에서 보면, 소수는 우주보다 먼저 있었다. 물리 법칙보다 더 근본적이다. 우주가 다르게 생겨났어도 소수는 같았을 것이다. 만약 외계 문명이 있다면? 그들의 수학 기호는 다르겠지만, 개념은 같을 것이다. 어쩌면 수학과 물리학은 서로 다른 것이 아닐지도 모른다. 수학은 우주의 문법이고, 물리학은 그 문법으로 쓰인 문장일지도, 소수는 우주의 소스 코드에 새겨진 주석일지도 모른다.
당신은 지금 수학의 가장 큰 미스터리 중 하나에 대한 글을 읽은 것이다. 100만 달러짜리 질문. 165년짜리 수수께끼. 리만 가설.