다가오는 NPU 시대, SK 하이닉스의 미래 전략은?
연세대 경영혁신학회 36기 이재원
2024 3분기, SK 하이닉스의 역사적 성과
2024년 3분기, SK 하이닉스는 매출 17조 5731억 원과 영업이익 7조 300억 원이라는 기록적인 실적을 달성했다. 특히, 메모리 반도체 중에서도 HBM(고대역폭 메모리)의 매출이 전 분기 대비 70% 이상, 전년 동기 대비 무려 330% 성장하며 SK 하이닉스의 실적을 견인했다.
[자료출처 : 머니투데이] [그래픽 : 자체제작]분기별 실적 그래프를 보면, 2023년은 SK 하이닉스에게 쉽지 않은 한 해였음을 알 수 있다. 글로벌 경기 침체와 메모리 반도체 가격의 하락으로 인해 매출과 영업이익 모두 부진했으며, 1분기에서 3분기까지 연속적인 적자를 기록하며 어려운 시기를 겪었다.
그럼에도 불구하고 SK하이닉스는 HBM에 대한 선제적 투자를 통해 반전을 준비해왔다. 2009년부터 고성능 메모리 반도체 수요 증가를 예견하고 HBM 기술 개발에 착수했으며, 2013년 세계 최초로 HBM 개발에 성공했다. 이후 지속적인 연구개발 투자와 적극적인 시장 공략을 통해 2023년에는 HBM 시장 점유율 54%를 기록하며 2위인 삼성전자(41%)와의 격차를 벌렸다.
그러나 이러한 선제적 투자와 기술적 성과만으로는 2024년의 역사적인 실적을 모두 설명하기에는 부족하다. 그렇다면 SK하이닉스가 2023년의 부진한 매출과 영업이익을 극복하고, 2024년에 이처럼 놀라운 반전을 이뤄낼 수 있었던 진짜 이유는 무엇일까?
AI 붐에 중심에 선 GPU와 HBM
2022년 후반, ChatGPT 3의 공개로 촉발된 AI 붐은 2024년 현재까지 이어지며 기술 산업 전반에 혁신적인 변화를 가져오고 있다. ChatGPT는 방대한 학습 데이터를 기반으로 새로운 내용을 생성하는 대규모 언어 모델(LLM)*로, 콘텐츠 생성, 연구 데이터 분석, 고객 서비스 자동화 등 다양한 분야에서 활용되며 산업의 지형을 바꾸고 있다. 이에 Google, Anthropic 등 여러 기업은 ChatGPT와의 차별화를 위해 자체 데이터로 학습시킨 LLM인 Gemini, Claude 등을 출시하며 LLM 기술 경쟁을 가속화하고 있다.
이러한 LLM은 학습 데이터가 많을수록 더욱 정교하고 논리적인 답변을 제공하는데, 이를 가능하게 하기 위해서는 고성능 GPU(그래픽 처리 장치)가 필수적이다. GPU는 대량의 병렬 연산을 처리할 수 있는 프로세서로, 복잡한 인공지능 모델의 학습과 추론에 핵심적인 역할을 한다. 또한, GPU의 연산 성능을 AI에 최대한 활용하려면 학습 데이터에 빠르게 접근할 수 있는 고속 메모리 반도체가 필요한데, 그 역할을 담당하는 것이 바로 HBM(High-Bandwidth Memory, 고대역폭 메모리)이다.
[자료출처 : 세계일보]HBM은 여러 개의 D램(메모리 반도체의 한 종류, 데이터를 읽고 쓰는 역할을 담당한다) 반도체를 수직 적층하여 데이터 전송 속도를 획기적으로 높인 메모리 반도체로, HBM 1, HBM 2로 갈수록 속도가 빨라지고 전력 소모가 줄어든다.
결과적으로, LLM 기술 경쟁이 가속화되면서 자체 데이터를 빠르게 학습시키기 위한 GPU와 그에 필요한 HBM에 대한 전 세계적인 수요가 폭발적으로 증가했다.
SK하이닉스는 2013년 세계 최초로 HBM을 개발한 이후, 2022년 ChatGPT-3의 공개로 촉발된 AI 붐이 본격화되자, 과거부터 쌓아온 기술력을 바탕으로 HBM에 대한 R&D 투자와 생산 역량 확대에 발 빠르게 나서며 시장 수요에 적극 대응했다. 그 결과, 2024년 3분기에는 HBM의 최신 모델인 HBM3E를 GPU 업계의 선두 주자이자 시가 총액 1위 기업인 엔비디아에 가장 빠르고 성공적으로 공급하며 역사적인 실적을 달성했다. 하지만, 과연 앞으로 다가올 10년 후에도 LLM 구축을 기반으로 한 GPU와 HBM에 대한 수요가 지금처럼 견조할까?
*대규모 언어 모델(LLM, Large Language Model) : 방대한 양의 텍스트 데이터로 훈련된 AI 모델로, 어텐션 메커니즘(Attention Mechanism)을 활용하여 문맥을 이해하고 다음 내용을 예측하는 생성형 AI의 한 종류
GPU를 넘어 NPU로, 변화하는 AI 반도체 트렌드
결론부터 말하자면, LLM 구축 경쟁에서 발생한 GPU에 대한 폭발적인 수요는 데이터센터의 전력 문제와 GPU가 가진 설계적인 한계 때문에 장기적으로 지속되지 않을 가능성이 높다.
첫째, 대규모 연산을 요구하는 LLM 학습 과정에서 막대한 전력 소모가 발생하고 있다.
지난 2년간 LLM(대규모 언어 모델) 학습에 필요한 데이터 센터의 전력 소비가 전례 없이 급증함에 따라, 전력 공급이 AI 기술 발전 속도를 따라가지 못하는 상황이 발생하고 있다. 이에 따라 일부 데이터 센터에서는 이미 과부하 문제가 제기된다. 예를 들어 ChatGPT-3 모델 한 번의 훈련에 드는 약 1300MWh는 무려 미국 기준 약 130가구의 1년 치 전력 소비량에 해당한다. 그러나 이처럼 빠르게 증가하는 수요와는 달리, 미국 에너지정보청(EIA)은 미국의 전력 총생산량이 앞으로도 이러한 증가 속도를 따라잡지 못할 것으로 내다봤다. 이러한 상황은 특정 지역에 국한되지 않고 전 세계적으로도 유사하게 나타나고 있다. 현재 데이터 센터가 소비하는 전력량은 전 세계 전력 소비의 약 12%에 달하며, 전력 공급 증가세가 이를 따라잡지 못할 경우 2026년까지 이 비중은 34%로 두 배 이상 확대될 전망이다. 결국 이러한 전력 소비의 가파른 증가 추세는 단순히 전력 공급이 수요를 따라잡지 못하는 수준을 넘어, 향후 안정적인 AI 인프라 운영과 확장을 어렵게 만드는 요인이 될 수 있다.
둘째, GPU의 병렬 계산이라는 설계상의 장점이자 한계 때문에 LLM 학습에 요구되는 작업을 수행할 시 불필요한 작업이 포함되어 속도 저하가 발생한다.
[그래픽 : 자체제작]예를 들어, GPU를 이용하여 18×18 크기의 도화지를 색칠한다고 가정해 보자. 우선 GPU는 전체 도화지를 한 번에 색칠하는 대신, 이를 여러 개의 3×3 도화지를 색칠하는 작업 단위로 나누어 각각을 병렬로 처리한 뒤, 마지막에 모두 합쳐 최종적으로 18×18 도화지를 완성한다. 이 과정에서 원래 목적(도화지를 색칠하는 것)과 직접적으로 관련 없는, 불필요한 그래픽 처리(‘도화지를 자르는 작업’이라는 비유로 나타낸 부분)까지 포함되며, 이러한 선택 및 병합 과정에서 전력과 시간이 낭비되어 전체 처리 속도가 저하되는 문제가 발생한다.
이런 문제를 해결하기 위해, 전력 소모를 줄이면서도 LLM(대규모 언어 모델) 학습에 필요한 핵심 기능을 갖춘 차세대 반도체인 NPU(신경망 반도체)가 주목받고 있다. NPU는 LLM 학습에 특화된 전용 연산 구조를 갖추고 있으며, NPU 개발 기업인 Furiosa가 선보인 제품을 엔비디아의 A100 GPU 모델과 비교했을 때 단위 정보 처리당 전력 소모가 약 1/4 수준에 불과한 것으로 확인된다. 이는 기존 GPU에서 필요했던 불필요한 작업 선택 및 결합 과정을 생략함으로써 가능해진 것이다.
이 같은 특징 덕분에 NPU는 데이터센터에서 GPU를 대체할 잠재력을 갖추는 동시에, 각 기기 내부에서 직접 AI 연산을 처리하는 온 디바이스 AI* 시대를 앞당기고 있다. 실제로 삼성전자가 최근 출시한 갤럭시 S24에서는 와이파이 연결 없이도 실시간 외국어 번역이 가능해졌는데, 이는 NPU 기반 온 디바이스 AI 기술이 이미 상용화 단계에 접어들었음을 보여준다.
온 디바이스 AI는 단순히 클라우드 의존도를 낮춰 비용과 에너지를 절감하는 데 그치지 않고, 네트워크 불안정에도 안정적인 서비스를 제공하며, 외부 서버로 데이터를 전송할 필요가 없어 데이터 프라이버시 및 보안 측면에서도 유리하다. 또한 통신 지연을 최소화해 사용자 경험을 개선함으로써, 자율주행 자동차를 비롯한 다양한 분야에서 온 디바이스 AI에 대한 수요가 기하급수적으로 증가할 것으로 예상된다.
[자료출처 : QY Research] [그래픽 : 자체제작]시장 조사 기관인 QYResearch는 2030년까지 온 디바이스 AI 칩 시장이 연평균 16.5% 성장해 약 81.3억 달러 규모로 확대될 것으로 내다보고 있다. 이는 NPU를 비롯한 차세대 반도체 기술이 AI 산업의 지형을 재편하고, 데이터센터 중심의 기존 구조와 더불어 다양한 기기가 스스로 AI 연산을 처리하는 새로운 패러다임이 도래하고 있음을 의미한다.
*온 디바이스 AI : 데이터를 클라우드 서버가 아닌 로컬 디바이스에서 직접 처리하는 기술로, 실시간 처리, 프라이버시 강화, 네트워크 독립성을 제공하며 에너지 효율성이 높은 AI 구현 방식
커스텀 HBM에 대한 수요, SK 하이닉스는 과연 준비되어 있는가?
AI 산업이 데이터센터와 온 디바이스 AI의 두 축으로 발전하면서, 기존 데이터센터용 GPU에 사용되는 HBM도 새로운 AI 트렌드에 맞춰 각 분야에 적합한 형태로 개발될 필요성이 대두되고 있다. 이를 바탕으로 HBM 역시 ‘커스텀 HBM’ 시대로 접어들고 있는데, 과거에는 초고속·고적층 기술을 통해 데이터 센터에서의 빠른 데이터 전송에만 집중했다면, 앞으로는 자동차나 휴대전화 등 각 디바이스에 최적화된 저전력, 경량화, 소형화 기술 또한 HBM에 요구될 것으로 추측된다.
삼성전자는 2020년부터 자사의 OLED TV에 NPU를 탑재하여 화질 개선, 영상 왜곡 감소 등 온디바이스 AI와 관련된 기능을 제공해 오고 있으며, 일찍부터 온디바이스 AI를 위한 기술에 꾸준히 투자해 왔다. 2024년에 출시된 NEO QLED 8K 모델의 경우 NPU뿐만 아니라 HBM까지 탑재되어 있는데, 이는 삼성전자가 이미 다가올 AI 트렌드에 발맞춰 대응하고 있음을 보여준다. 또한 주요 파운드리 고객들과 협력하여 다양한 HBM 커스터마이징 역시 진행 중이다.
반면 SK 하이닉스의 경우, 현재로서는 데이터센터 중심의 GPU에 탑재되는 HBM 기술에 집중하고 있어, 온디바이스 AI 시대를 대비한 구체적인 투자 방향성은 명확하게 드러내지 않고 있다. 만약 향후 AI 반도체 시장이 NPU 중심으로 재편되고, 온디바이스 AI 시장이 데이터센터 시장보다 확대된다면, SK 하이닉스는 큰 시장 기회를 놓칠 가능성이 있다.
다가오는 미래를 위한 전략
SK 하이닉스가 향후 AI 및 차세대 반도체 시장에서 경쟁력을 지속하기 위해서는 NPU 기술력을 갖춘 기업(퀄컴, 인텔 등)과의 협력을 강화하고, NPU용 HBM에 요구되는 PIM* 기술에 적극 투자해야 한다. 구체적으로는, NPU 개발사들의 요구사항에 최적화된 HBM을 미리 선보여 커스텀 HBM 시대에 필요한 노하우를 축적하고, PIM 기술을 통해 온디바이스 AI에 요구되는 HBM의 경량화 및 전력 효율 극대화를 달성함으로써 향후 시장 변화에 대응할 수 있어야 한다. 과거 SK 하이닉스가 HBM에 선제적으로 투자하여 현재의 시장 지위를 확보한 것처럼, 이러한 적극적인 대응과 미래 지향적 전략만이 앞으로도 시장 선도 기업으로서의 위치를 유지하는 핵심 요인이 될 것이다.
*PIM(Processing-In-Memory) : 메모리와 프로세싱 연산을 통합하여 데이터 이동 없이 메모리 내부에서 연산을 처리하는 기술. 데이터 전송 지연을 줄이고, NPU 기반의 대량 병렬 연산 효율을 극대화.
연세대 기계공학과 이재원
pragnunt7429614@yonsei.ac.kr
