폰 노이만 선생님께서 잘못한 것일까요, 당최

요즘 반도체 뉴스를 보면 HBM(고대역폭 메모리)이라는 단어가 빠지지 않고 등장합니다. 엔비디아의 GPU 옆에 이 메모리가 붙느냐 마느냐에 따라 기업의 시가총액이 널뛰고, 국가 경제의 향방이 결정되기도 하죠. 그런데 이 화려한 기술의 이면을 들여다보면, 뜻밖에도 70여 년 전 인물인 존 폰 노이만의 이름과 마주하게 됩니다. 사람들은 현대 인공지능이 겪는 모든 문제의 원인을 폰 노이만 병목현상 탓으로 돌리곤 하는데요. 저는 여기서 이런 질문을 던져봅니다. "그러면 폰 노이만 선생님께서 설계를 잘못하신 것일까요?"

사실 오늘날 AI가 제 성능을 내지 못하는 가장 큰 이유는 아이러니하게도 너무 똑똑한 두뇌와 너무 좁은 길 때문입니다. 폰 노이만 구조는 연산을 담당하는 CPU 또는 GPU와 저장을 담당하는 메모리가 분리되어 있고, 그 사이를 버스라는 통로로 연결하는 방식입니다. 문제는 여기서 발생합니다. AI 시대가 되면서 처리해야 할 데이터는 폭발적으로 늘어났고 연산 장치의 속도는 빛의 속도로 빨라졌지만, 데이터를 주고받는 통로는 여전히 좁기만 합니다.

아무리 슈퍼카(GPU)가 좋아도 1차선 시골길(기존 메모리)에서는 제 속도를 낼 수 없는 법이죠. CPU는 데이터를 기다리느라 놀게 되고, 전체 시스템 성능은 떨어집니다. 이것이 바로 메모리 벽이라 불리는 폰 노이만 병목현상의 실체입니다.

이 병목을 뚫기 위해 등장한 구원투수가 바로 HBM입니다. HBM은 평면적으로 깔려있던 D램을 아파트처럼 수직으로 높게 쌓아 올리고, TSV(실리콘 관통 전극)라는 기술을 통해 수천 개의 미세한 구멍을 뚫어 칩들을 직접 연결합니다. 이를 통해 데이터가 이동하는 통로를 2차선에서 1024차선 이상의 초광폭 고속도로로 확장해 버린 것이죠. 폰 노이만 구조가 만든 좁은 길을 기술적 물량 공세로 해결하려는 필사적인 노력이라 할 수 있습니다.

하지만 여기서 우리가 잊지 말아야 할 사실이 있습니다. 폰 노이만 구조가 병목이라는 단점을 안겨주었을지언정, 우리에게 컴퓨터의 범용성이라는 마법 같은 선물을 주었다는 점입니다. 폰 노이만 이전의 컴퓨터인 에니악(ENIAC)을 떠올려 보십시오. 당시에는 새로운 계산을 하려면 프로그래머들이 직접 전선을 꽂고 뽑으며 회로를 다시 연결하는 플러그 보드 방식을 수작업으로 진행해야 했습니다. 하드웨어를 물리적으로 바꿔야만 프로그램이 바뀌던 시대였죠.

폰 노이만은 데이터 처리와 저장을 분리하고, 메모리에 프로그램을 내장하는 방식을 설계함으로써 하드웨어 변경 없이 소프트웨어만으로 다양한 데이터를 처리하는 시대를 열었습니다. 지금 우리가 스마트폰 하나로 게임도 하고, 업무도 보고, 영화도 볼 수 있는 것은 당최 이 폰 노이만 구조 덕분인 셈입니다. 만약 폰 노이만 구조가 없었다면 우리의 스마트폰은 어떤 모습이었을까요? 아마도 유튜브 앱을 실행했다가 카카오톡 메시지를 확인하기 위해 휴대폰에 연결된 수십 개의 전선을 일일이 바꿔 끼워야 했을지도 모릅니다. 여러분은 이런 방식으로 핸드폰을 쓰실 수 있으시겠어요?

결국 폰 노이만 구조의 한계는 우리가 기술적으로 극복해야 할 과제이지, 결코 폰 노이만 선생님의 과오는 아닙니다. 오히려 70년이 넘는 세월 동안 이 구조를 대체할 더 나은 대안을 찾지 못할 만큼 그의 설계가 완벽했다는 반증이기도 하죠.

저는 이 병목현상을 보며 생각이 많아집니다. 완벽해 보이는 혁신 뒤에는 언제나 새로운 문제가 숨어있고, 우리는 그 문제를 해결하며 다음 단계로 나아간다는 것을요. 오늘날 HBM이 닦아놓은 초광폭 데이터 고속도로 위에서, 다음 세대는 또 어떤 당최 알 수 없는 혁신을 고민하게 될까요?