천재 요리사가 재료를 기다리는 시대
AI 반도체의 주인공이 바뀌고 있다
여러분은 혹시 이런 경험 있으신가요? 요리를 하려고 했는데 필요한 재료가 지하 창고에 있어서, 칼질은 1분이면 끝나는데 재료 가져오는 데만 10분이 걸리는 상황 말이에요. AI 반도체의 세계에서 지금 정확히 이런 일이 벌어지고 있습니다.
지금까지 우리는 GPU, 즉 ‘연산 장치’가 AI의 주인공이라고 생각해 왔습니다. 하지만 이제는 상황이 달라졌습니다. 아무리 천재적인 요리사가 있어도 재료를 제때 공급받지 못하면 소용없는 것처럼, 아무리 빠른 GPU가 있어도 메모리가 따라주지 못하면 그 성능을 제대로 발휘할 수 없게 된 거죠.
왜 이런 변화가 생겼을까요? AI가 다루는 정보의 종류와 양이 폭발적으로 늘어났기 때문입니다. 예전에는 글자만 읽었다면, 이제는 사진, 영상, 음성까지 한꺼번에 처리하는 멀티모달 시대가 왔습니다. 요리로 치면 다루는 재료의 가짓수가 1000배 늘어난 셈이에요. 이런 상황에서는 아무리 손이 빠른 요리사라도 재료 공급이 늦으면 계속 기다릴 수밖에 없습니다. 이 문제를 해결하려면 창고를 요리사 바로 옆에 붙이고 출입문을 아주 크게 만들어야 합니다. 그게 바로 HBM이라는 고대역폭 메모리입니다.
똑똑해진 공책의 등장
그런데 여기서 더 재미있는 변화가 생겼습니다. 메모리 자체가 똑똑해진 거예요.
예전의 메모리는 그저 시키는 대로 정보를 적어두기만 하는 수동적인 공책 같았습니다. 본사에 있는 사장님이 뭔가 결정할 때마다 직원이 멀리 떨어진 서류 창고까지 뛰어가서 서류를 가져와야 했죠. 그런데 요즘은 어떻게 바뀌었을까요? 창고 건물 1층에 아예 사무실을 차리고 전문 인력을 배치한 겁니다. 서류를 보관하는 동시에 간단한 업무 처리까지 할 수 있는 ‘주상복합 건물’을 올린 거예요.
이게 바로 메모리 중심 컴퓨팅이라는 개념입니다. 메모리 칩 제일 아래층에 계산 능력을 갖춘 로직 레이어를 한 층 더 쌓는 거죠. 마치 창고 건물 1층에 계산대를 설치하는 것처럼요. 이렇게 하면 매번 본사까지 왕복하지 않고도 현장에서 바로바로 판단하고 처리할 수 있습니다.
더 흥미로운 건, 이제 구글이나 엔비디아 같은 큰 회사들이 시장에서 파는 기성복 같은 표준 메모리 대신, 자기들 몸에 딱 맞는 맞춤 정장을 주문한다는 점입니다. 이걸 커스터마이즈드 HBM이라고 하는데요, 각 회사의 AI 시스템 특성에 맞춰 메모리를 설계하는 시대가 온 거예요.
나보다 나를 더 잘 아는 비서의 비밀
AI가 정말 유용한 개인 비서가 되려면 어떤 능력이 필요할까요? 여러분이 10년 전에 쓴 일기부터 어제 본 영화까지, 심지어 오늘 아침에 마신 커피 취향까지 다 기억하고 있어야 합니다. 그러려면 엄청난 저장 공간이 필요하겠죠.
여기서 똑똑한 해결책이 나왔습니다. 책상 위에는 지금 당장 필요한 정보를 적은 포스트잇을 붙여두고, 책상 바로 아래에는 커다란 서류함을 하나 더 두는 겁니다. 포스트잇은 공간이 좁지만 눈에 바로 들어오니 속도가 빠르고, 서류함은 속도는 조금 느리지만 어마어마한 양의 정보를 담을 수 있죠.
이 개념을 반도체로 옮겨온 게 HBF, 즉 고대역폭 플래시입니다. 낸드 플래시라는 대용량 저장장치를 HBM처럼 여러 겹 쌓아서 만든 거예요. 그러면 지금 당장 필요한 ‘핫 데이터’는 빠른 HBM에 두고, 나중에 필요할 수도 있는 ‘콜드 데이터’는 용량 큰 HBF에 보관하는 겁니다. 마치 요리할 때 불 위에 올린 재료와 냉동실의 식자재를 구분하는 것처럼요.
AI 비서는 이 두 가지 데이터를 적절히 섞어 쓰면서, 여러분에 대한 방대한 정보를 순식간에 파악해 답변을 내놓게 됩니다.
정보 창고 전쟁의 시작
결국 미래의 반도체 경쟁은 이런 싸움입니다. 누가 더 많은 정보를 더 가까운 곳에 두고, 더 똑똑하게 관리하느냐의 싸움이죠.
김정호 교수가 강조하는 핵심 메시지도 바로 이겁니다. 우리나라는 이 ‘정보 창고’를 가장 잘 만드는 독보적인 기술을 가지고 있다는 것. 천재 요리사가 아무리 뛰어나도 재료 공급이 안 되면 소용없듯이, 아무리 좋은 AI 칩이 있어도 메모리 기술 없이는 그 성능을 발휘할 수 없는 시대가 온 겁니다. 그리고 그 메모리 기술의 중심에 우리가 서 있다는 거죠.
* 이미지로 요약 읽기
* 카이스트 김정호 교수님 말씀과 이미지는 AI 도움으로 정리했습니다.