PC부터 AI까지, 벗어날 수 없는 80년의 굴레
AI시대를 만든 거인의 어깨
1944년 여름, 미국 메릴랜드주 애버딘 기차역.
푹푹 찌는 열기 속에서, 군복을 입은 한 청년이 누군가를 발견하고 숨을 멈췄다.
회색 정장에 매듭진 넥타이. 손에는 서류 가방.
마치 화보에서 튀어나온 듯한, 그 자리와 어울리지 않는 신사였다.
당대 최고의 수학자, 존 폰 노이만(John von Neumann).
이 만남은 ‘생각하는 기계’를 만드는 방식이 바뀌기 시작한 순간으로 남는다.
뜨거운 여름의 플랫폼
청년 장교의 이름은 허먼 골드스타인(Herman Goldstine).
당시 극비리에 진행 중이던 에니악(ENIAC) 프로젝트의 책임자였다.
천재 수학자를 만난 흥분에 들뜬 골드스타인은 기밀 보안 규정 따위는 잠시 잊어버린 채,
자신이 만들고 있는 거대한 괴물, 초당 5,000번의 덧셈을 해치우는 전자계산기에 대해 털어놓기 시작했다.
폰 노이만의 눈이 반짝였다.
마침 원자폭탄 설계에 필요한 복잡한 계산들이 머릿속을 가득 채우고 있던 참이었기 때문이다.
당시의 컴퓨터는 아직 '계산기'라고도 부르기 힘든 거대한 스위치 덩어리.
새로운 문제를 풀 때마다 수천 개의 케이블을 일일이 뽑았다 다시 꽂는 작업으로 인해, '프로그래밍'은 곧 '배선 공사'를 의미했다.
거대했던 이 컴퓨터(AVIDAC, 1953년) 역시 폰 노이만의 아키텍처를 기반으로 한다. [출처: ENERGY.GOV / Public Domain]영혼을 갈아 끼우는 방법
폰 노이만은 펜실베이니아 대학으로 달려가 에니악을 직접 본 순간, 깊은 생각에 잠겼다.
왜 매번 기계를 뜯어고쳐야 할까.
명령어를 데이터처럼 메모리에 넣어두고, 종이 위의 지시만 바꿔 갈아 끼우면 되지 않을까.
1945년 초여름, 폰 노이만은 EDVAC에 관한 보고서 초안(First Draft of a Report on the EDVAC)을 정리하기 시작했다. 미완성으로 남았지만, 101페이지 분량의 이 서류는 ‘프로그램을 데이터처럼 메모리에 넣는다’는 발상을 세상에 퍼뜨린다.
원문 PDF (Massachusetts Institute of Technology)
https://web.mit.edu/sts.035/www/PDFs/edvac.pdf
배선을 다시 꽂는 대신, 종이에 적힌 명령을 바꾸는 쪽으로.
하드웨어(몸체)는 두고, 소프트웨어(영혼)를 갈아 끼우는 세상을 열었다.
오늘날 앱을 다운로드하고, 넷플릭스를 보고, 블로그에서 글을 읽는 일상도 결국 이 방향에서 연장선이다.
결정적으로, 폰 노이만은 뇌를 떠올리며 CPU(중앙처리장치)와 메모리(기억장치)를 갈라놓고, 둘 사이를 오가는 길(BUS)을 만들었다.
사람들은 그 "길"과 "분리"를 묶어 그의 이름을 붙였다.
폰 노이만 아키텍처(Von Neumann Architecture).
단순함은 강력하다.
그리고 그 단순함은, 언젠가 대가를 요구한다.
존 폰 노이만 (1903-1957) [출처: Los Alamos National Laboratory / Public Domain]화성인이 남긴 그림자
폰 노이만은 인간이라기보단 차라리 진화된 외계인에 가까웠다.
'헝가리 화성인(The Martians)'이라 불리던 천재 집단 사이에서도 유독 돋보이는 존재였다.
유명한 일화가 있다.
어느 날 동료가 물었다.
"두 기차가 마주 달려오는 사이를 파리 한 마리가 왕복해. 파리의 총 이동거리는?"
(난해해 보이는 이 문제엔 트릭이 있다. 충돌 시간에 파리 속도를 곱하면 정답.)
폰 노이만은 즉답했다.
"15마일입니다."
"역시, 이 계산의 트릭을 알고 계셨군요!"
폰 노이만이 고개를 갸웃했다.
"트릭이요? 전 그냥 무한급수를 머릿속에서 다 더했을 뿐인데."
7살 때 8자리 나눗셈을 암산했고, 전화번호부를 통째로 외웠다.
프린스턴 고등연구소에서 동료가 컴퓨터로 며칠 걸릴 계산을 하고 있으면 옆에서 암산으로 먼저 답을 내놓고는 유유히 사라지곤 했다.
동료 물리학자 엔리코 페르미는 이렇게 한탄했다.
"나는 계산하는 데 20분이 걸리고, 컴퓨터는 20초가 걸리는데, 조니(폰 노이만의 애칭)는 2초면 끝낸다."
단순히 계산만 빠른 게 아니었다.
"인생은 체스보다 포커에 가깝다"며 게임 이론(Game Theory)을 창시해 경제학과 군사 전략의 판을 뒤엎었고, 원자폭탄의 기폭 장치를 설계했으며, DNA 구조가 발견되기도 전에 '자기 복제 오토마타'라는 개념으로 생명체의 정보 복제 원리를 예언했다.
이런 천재가 그린 설계도였으니, 누구도 의심하지 않았다.
하지만 폰 노이만 아키텍처에는 태생적 약점이 숨어 있었다.
CPU는 너무 빠른데, 메모리가 데이터를 보내주는 속도는 너무 느렸다.
계산을 하고 싶어도 재료가 오지 않아 손을 놓고 기다려야 하는 상황.
'폰 노이만 병목(Von Neumann Bottleneck)'이라 불리는 현상이다.
그리고 80년이 지난 지금, 이 병목이 인류 최첨단 기술의 발목을 잡고 있다.
좁은 길, 병목을 넓히는 전쟁
2026년의 생성형 AI 경쟁은 결국 하나의 질문으로 모인다.
이 ‘병목’을 누가 먼저 넓히는가.
엔비디아(NVIDIA)의 H100이나 블랙웰(Blackwell) 같은 AI 칩이 아무리 강력해도, 거대언어모델(LLM)의 수천억 개 파라미터를 메모리에서 제때 끌어오지 못하면 성능은 주춤한다.
계산은 준비됐는데 재료가 늦게 도착한다.
80년 전 단순함을 위해 갈라놓았던 길이, 2026년에는 가장 비싼 통행료를 요구하는 셈이다.
그래서 "주식하는 사람들"에게 친숙해진 SK하이닉스와 삼성전자의 HBM(고대역폭 메모리)라는 '명품 조연'이 주목받기 시작한다.
메모리를 위로 쌓아 올려(TSV) 길의 폭을 넓히고, 데이터가 지나가는 차선을 수천 개로 늘려 한 번에 더 많은 재료를 흘려보낸다. 병목을 없애는 속도가 곧 AI의 지능지수가 되는 세상.
우리는 여전히 폰 노이만의 설계 위를 달린다.
그리고, 그 설계가 만든 태생적 한계에 끊임없이 도전하는 시대다.
오늘 당신이 마주한 답답한 순간들.
그 멈춤이 오히려 새로운 흐름을 만들어내는 계기가 되기를.
최대한 신중하게 팩트 체크를 거쳤지만, 방대한 역사를 다루다 보니 놓친 부분이 있을 수 있습니다.
혹시 옥에 티를 발견하신다면 너그럽게 댓글로 알려주세요. 여러분의 지적이 모여 더 좋은 글이 됩니다.
