수학 왜 배우나요? 소수의 원리를 활용한 최강의 자물쇠
RSA/SSL 이야기와 개인정보 유출 사건에 대해서
인터넷 없이는 살아갈 수 없는 세상이다.
수많은 개인정보 유출 사건이 연일 뉴스를 채우는데, 정작 보안 기술에 대한 관심은 생각보다 미지근하다.
작년 한국에서는 쿠팡의 3천만 건 이상 고객정보 유출과 SKT의 2천만 명 규모 유심 해킹이 화제가 됐고, 일본에서는 아사히 맥주가 랜섬웨어 공격을 받아 10월 매출이 전년 대비 10~40% 감소하는 등의 큰 손실을 입었다.
이쯤 되면, "보안이야 서비스 업체가 알아서 해주겠지"라고 마냥 미룰 수만은 없는 노릇.
오늘은 디지털 세상의 수많은 보안 기술 중에서도 가장 핵심인 RSA와 SSL에 대해 알아보자.
중학교 때 배운 소수(素數)가 왜 필요한지 처음으로 깨닫게 된다.
열쇠를 어떻게 건넬 것인가?
암호의 역사는 전쟁의 역사다.
카이사르는 알파벳을 세 칸씩 밀어 군사 명령을 숨겼고, 2차 대전에서는 독일의 에니그마 암호를 앨런 튜링이 깨뜨려 전세를 뒤집었다.
하지만 이 모든 암호에는 근본적인 약점이 있었다.
보내는 사람과 받는 사람이 같은 열쇠를 공유해야 한다는 것.
열쇠를 전달하는 과정에서 적에게 들키면? 암호는 그 힘을 잃어버린다.
제2차 세계 대전에서 사용된 에니그마 암호기계 [Photo by Alessandro Nassiri / CC BY-SA 4.0]수천 년간 인류가 풀지 못한 이 문제를, 1976년 스탠퍼드 대학의 휫필드 디피와 마틴 헬먼이 뒤집어 놓는다.
"열쇠를 공개해도 안전한 암호가 가능하지 않을까?"
상식을 정면으로 부정하는 이 아이디어는 암호학의 역사를 완전히 둘로 쪼갠다.
자물쇠는 누구나 볼 수 있게 공개하되, 그 자물쇠를 여는 열쇠는 나만 가지는 것.
하지만 디피와 헬먼은 "열쇠를 공개해도 안전한 암호가 가능하다"라는 "공개암호키"의 개념만 증명했을 뿐, 그것을 실현할 구체적인 수학적 방법은 아직 제시하지 못했다.
RSA, 소수(素數)로 자물쇠를 만들다
1977년 봄, MIT의 론 리베스트, 아디 샤미르, 레너드 애들먼이 바로 그 답을 찾아 나섰다.
세 사람은 디피-헬먼의 논문을 읽고 한 가지에 확신을 가졌다—공개키 암호를 실현하려면, "한 방향으로는 쉽지만 반대 방향으로는 극도로 어려운" 수학 문제가 필요하다는 것.
유월절 파티에서 와인을 마신 뒤, 리베스트는 밤새 수식을 끄적이다, 결국 아침이 다되어서 완성된 알고리즘의 원리는 놀랍도록 단순했다. 바로 소수(素數)의 원리를 이용하는 것.
큰 소수 두 개를 곱하는 건 쉽다.
하지만 그 결과에서 원래 소수를 찾는 건 거의 불가능하다.
예를 들어, 소수 61과 53을 곱하면 3233.
하지만 "3233은 어떤 두 소수의 곱인가?"라고 물으면 상대적으로 어렵다.
자릿수가 수백 자리로 늘어나면? 인간은 물론 컴퓨터의 계산으로도 사실상 풀 수 없다.
이 비대칭성이, 세 사람의 이니셜을 따서 RSA라 불린 암호의 전부이자 핵심이다.
SSL에서 HTTPS까지
Generated with Nano Banana / Edited with Canva1990년대, 인터넷 상거래가 시작되면서 암호 기술의 수요가 급격히 늘었다.
넷스케이프가 RSA를 기반으로 SSL(Secure Sockets Layer)을 만들어 웹 브라우저와 서버 사이의 통신을 암호화했다. 브라우저 주소창의 '자물쇠 아이콘'이 SSL이 적용되었다는 의미이다.
SSL은 이후 TLS(Transport Layer Security)로 진화하여, 오늘날 우리가 사용하는 HTTPS는 사실상 TLS 위에서 작동한다. SSL이라는 이름이 여전히 관용적으로 쓰이지만, 실제 기술은 이미 TLS로 세대교체가 이루어진 셈.
기억하는 사람도 많을 것이다.
넷스케이프가 SSL을 만든 후에도 좀처럼 인터넷 세상에는 보급율이 저조했는데, 2018년 7월부터 구글 크롬이 모든 HTTP 사이트의 주소창에 '주의 요함'이라는 경고를 띄우기 시작했다.
파이어폭스, 사파리 등 다른 브라우저도 뒤를 이었고, 전 세계 웹사이트들은 HTTPS로의 전환을 서둘렀다.
그 결과, 불과 몇 년 사이에 웹 트래픽의 대부분이 암호화된 통신으로 바뀌었다.
주소창에서 'http://'가 사라지고 자물쇠 아이콘이 당연해진 것은, 이 기술들이 알게 모르게 일상에 스며든 결과다.
RSA와 SSL/TLS가 핵심 기둥이라면, 그 주변에는 디지털 세상을 지탱하는 또 다른 보안 기술들이 있다.
(모두 다 나열하려고 하면, 너무 방대하니 예시로 3가지만 더)
AES(고급 암호화 표준)
RSA가 열쇠를 안전하게 교환하는 역할이라면, AES는 실제 데이터를 빠르게 암호화하는 역할이다. 대칭키 암호의 대표 주자로, 오늘날 거의 모든 인터넷 통신에서 RSA와 함께 쓰인다.
PKI(디지털 서명과 인증서)
웹사이트가 진짜인지 가짜인지 어떻게 알까? 공개키 기반 구조(PKI)가 답이다. 인증 기관(CA)이 웹사이트의 신원을 보증하고, 디지털 서명으로 데이터가 위변조 되지 않았음을 증명한다.
SHA(해시 함수)
비밀번호를 저장할 때, 원문 그대로 저장하면 유출 시 끝장이다. SHA-256 같은 해시 함수는 원문을 되돌릴 수 없는 고정 길이 값으로 변환한다. 블록체인의 핵심 기술이기도 하다.
이 기술들은 서로 경쟁하는 것이 아니라, 하나의 시스템 안에서 각자의 역할을 맡아 협력한다.
HTTPS 접속 한 번에 RSA(또는 ECDH)로 키를 교환하고, AES로 데이터를 암호화하며, SHA로 무결성을 검증하고, PKI로 상대방의 신원을 확인한다. 이 모든 과정이 1초도 안 되는 사이에 일어난다.
'양자컴퓨터'라는 새로운 걱정거리
2026년, '양자컴퓨터'라는 새로운 걱정이 다가오고 있다.
전무후무한 대중적인 과학 인기와 함께, 몇 번들어도 아리송한 양자역학에 대해서는 이제 제법 친숙할 것 같다. 이 양자 컴퓨터는 바로 양자역학을 바탕으로 개발되고 있는 차세대 컴퓨터.
차세대라고 하지만, 486이 586이 되는 것과 같은 단순한 성능 개선이 아닌, 디지털의 개념 자체를 근본적으로 바꾸는 기술이다.
양자 컴퓨터는 이론적으로 대단히 복잡한 소수의 곱을 풀어내는 것이 가능하다는 것이 걱정의 원인인데, 이미 세계 각국은 포스트 양자 암호(PQC)로의 전환을 서두르고 있다.
마지막으로 한 가지 짚어볼 사실이 있다.
Verizon의 2024년 데이터 침해 조사 보고서(DBIR)에 따르면, 전체 데이터 침해의 68%에 사람이 개입해 있었다. 피싱에 속아 넘어가거나, 비밀번호를 너무 단순하게 설정하거나, 보안 업데이트를 미루거나, 권한 설정을 잘못하거나—결국 사람의 실수와 부주의가 문을 열어준 것이다.
IBM의 2024년 보고서에서도, 데이터 침해의 평균 비용은 488만 달러에 달하는데, 그 침해의 상당수는 기술적 취약점이 아니라 내부자의 실수, 관리 미비, 보안 규칙 미준수에서 비롯된다.
SKT 사태도 보안 취약점이 발견된 OS를 8년간 업데이트하지 않았고, 쿠팡은 내부 직원의 접근 권한 관리가 허술했다. 암호 기술 자체가 뚫린 게 아니라, 그것을 다루는 사람과 조직이 무너진 것이다.
어떤 대단한 자물쇠도, 잠그는 사람이 열어두면 소용이 없다.
기술은 문을 만들 수 있지만, 그 문을 지키는 건 양자컴퓨터의 시대가 와도 결국은 사람이다.
