대한민국의 먹거리, 반도체의 모든 것
반도체가 지배하는 세상
최근 인공지능 기술의 발전과 함께, 데이터 처리량이 기하급수적으로 증가하면서 인공지능의 복잡한 연산을 효과적으로 처리할 수 있는 인공지능 반도체가 등장했다. 인공지능은 빅데이터를 바탕으로 빠른 데이터 분석과 학습과정이 필요하기 때문에, 이런 과정에 최적화된 반도체가 필수적이게 되었다. 인공지능 반도체는 모바일 기기에서의 활용을 시작으로, 주변 상황을 바탕으로 병렬적인 상황 인식과 연산 작용이 필요한 자율주행 자동차에 이르기까지 광범위하게 활용되고 있다. 여러 분야에서의 사례를 바탕으로 인공지능 반도체의 활용 예시와 그 원리를 알아보고자 한다.
삼성전자의 HBM-PIM먼저 삼성전자가 세계 최초로 개발한 HBM-PIM(High Bandwidth Memory - Processing-in-Memory)이 있다. 삼성전자 뉴스룸에 따르면, HBM-PIM은 메모리 반도체와 인공지능 프로세서를 하나로 결합한 반도체로써, 메모리 내부에 연산 작업에 필요한 프로세서 기능을 더한 차세대 신개념 융합기술이라고 한다.
일반적으로는 메모리에서 데이터를 불러와서 CPU에서 처리하는 과정을 거치는 ‘폰 노이만 구조’로 동작하는데, 이럴 경우 CPU 부하가 많아지고, 인공지능 프로세싱과 같이 처리해야 할 데이터가 많은 경우 데이터 병목 현상으로 인해 프로세서의 성능이 저하된다.
이때, 삼성전자가 개발한 HBM-PIM 반도체는 메모리 자체에서 연산을 가능하게 하여 CPU와 메모리 간 데이터 이동을 최소화하고, CPU에만 집중된 부하를 줄여서 데이터 병목 현상을 해결한 반도체이다. 또한 메모리 내부의 각 단위에 AI 엔진을 장착하여 병렬 처리를 극대화하였다.
이로 인해 인공지능 시스템을 구동하는 데 있어서 성능은 2배 이상 향상되고, 에너지는 70% 이상 감소되는 효과가 나타난다. 이러한 HBM-PIM 반도체는 AI 가속기를 구축하는 데 있어 매우 효율적인 아키텍처를 가지고 있기 때문에 현재 인공지능 알고리즘을 학습시키고, 데이터 연산을 바탕으로 결론을 도출하는 AI 가속기에 사용되고 있고, 앞으로 HBM-PIM을 갖춘 AI 가속기가 인공지능 스피커나 보안 서비스, 자율주행 알고리즘 등에 사용된다면 속도의 증가와 전력의 효율화라는 두 마리 토끼를 모두 잡을 수 있을 것이다.
애플의 M1 칩셋다음으로는 애플의 M1 칩셋에 관련된 내용이다. 지난 11월, 애플은 Mac을 위해 자체 제작한 arm 기반 프로세서, M1을 선보였다. 시스템 온 칩(SoC, System on Chip)인 M1 칩셋은 컴퓨터를 구동하기 위한 여러 가지 반도체 부품이 한 개의 칩에 집적되어 있다.
애플에 따르면, M1은 5 나노미터 프로세스 기술을 사용해 만들어진 PC용 칩으로 160억 개의 트랜지스터를 내장했다고 한다. 8 코어 CPU, 8 코어 GPU, 초당 11조 번의 연산 능력을 갖춘 뉴럴 엔진 등의 각각의 반도체 칩이 하나의 시스템 온 칩으로 결합되어 전력 효율을 높이고 성능을 훨씬 개선했다.
특히나 M1이 갖추고 있는 뉴럴 엔진은 인공지능 머신러닝 작업에 크게 기여한다. 16 코어를 기반으로 동작하는 뉴럴 엔진은 모바일 기기나 컴퓨터가 머신러닝을 통해 상황에 따라 데이터를 처리하고, 이미지를 프로세싱하며, 사용자의 패턴을 학습하는데 활용된다. 또한 인공지능 알고리즘을 구동하여 머신 러닝을 기반으로 한 AI 개발도 가능해진다. 특히나 애플은 M1 칩셋에서 '뉴럴 엔진'이라고 불리는 인공지능 학습을 위한 코어를 구축하여 기존의 CPU나 GPU의 과도한 부하를 피하고, 효율과 성능을 높였다.
실제로 애플의 M1 칩셋이나 A 시리즈 칩셋에 적용된 뉴럴 엔진은 사진 촬영 시 순간적으로 여러 장의 이미지를 결합하여 머신러닝 작업을 통해 이미지의 디테일과 밝기 및 색감을 강화하는데 쓰이기도 하며, 얼굴 인식(Face ID)의 경우 사용자의 얼굴 데이터를 학습하여 다양한 상황에서 사용자를 인식할 수 있도록 한다.
이렇게 기존의 컴퓨터에 들어가는 반도체가 arm 기반의 시스템 온 칩으로 바뀌고, CPU, GPU와 더불어 뉴럴 엔진 등 인공지능 연산 처리에 도움이 되는 반도체가 함께 결합됨으로써 앞으로 여러 모바일 기기에서 인공지능의 편리함을 느낄 수 있을 것이라 생각한다.
테슬라의 FSD 칩세 번째로는 테슬라의 자율주행을 위해 사용되고 있는 FSD 칩(Full Self Driving Chip)이다. 실제 테슬라의 차량에는 두 개의 독립된 FSD 칩이 결합된 FSD 컴퓨터가 탑재된다.
FSD 칩 또한 CPU, GPU, NPU 등이 하나의 칩으로 결합된 시스템 온 칩(SoC, System on Chip)의 형태이며, 이를 통해 8개의 카메라, GPS, 초음파 센서, 레이더, 지도 데이터 등을 받아들이고 연산하여 자율주행 알고리즘을 작동시킨다. CPU는 데이터 처리를 담당하며, GPU는 여러 센서를 통해 받아들인 주변 상황을 병렬적으로 인지하는 역할을 하고, NPU의 경우에는 인공신경망 연산을 효과적으로 수행한다. 이 외에도 메모리칩, 안전시스템, 보안시스템, 비디오 인코더, ISP 등이 각각의 역할을 수행하며 자율주행이 가능하도록 한다.
기존에는 각각의 반도체 칩이 따로 존재하여서 연산의 효율성 측면에서도 뒤떨어졌지만, 이제 자율주행에 필요항 반도체 칩은 시스템 온 칩의 방식으로 하나로 통합하고, CPU와 GPU에 인공지능의 인공신경망 연산을 돕는 NPU가 추가되면서 인공지능 연산에 있어서 72 TOPS라는 빠른 처리능력을 달성할 수 있게 되었다. 게다가 테슬라는 이러한 FSD 칩을 두 개 이상 결합한 FSD 컴퓨터를 자동차에 탑재하고 있는데, 이 결과 각각의 반도체가 역할을 세부적으로 분담하게 되면서 성능은 두배 이상 증가한다고 한다.
반도체 기술과 산업의 발전으로, 여러 가지 첨단 기술이 발전하며 삶의 편의성이 증대되고 있다. 소형화된 반도체가 전자기기에 탑재되어 CPU, GPU, NPU, DPU 같이 다양한 형태로 활용되면서 자율주행 자동차, 인공지능, 빅데이터 처리 및 연산, 가상현실 및 증강현실 등에 이용되고 있다.
특히나 위에서 소개한 여러 가지 인공지능 반도체의 발달로, 인공지능의 복잡한 연산이 소형화된 반도체에서 빠르게 처리하는 것이 가능해졌고, 그 결과 인공지능 스피커와 같이 인공지능 알고리즘을 기반으로 한 다양한 제품이 등장하고 있다. 반도체의 발전으로 곳곳에 인공지능 알고리즘이 사용되면서 우리는 보다 효율적으로 정보에 접근할 수 있고, 빠른 시간 안에 원하는 업무나 명령을 실행시킬 수 있게 된다.
이 뿐만 아니라 수많은 반도체의 집약체라고도 불리는 자율주행 자동차의 출연으로 앞으로 교통 체증은 사라지고, 교통사고의 위험성은 0%로 수렴하며, 자동차에서 운전하는 것이 아니라 개인의 여가 시간을 보낼 수 있고, 자동차가 소유의 개념에서 공유의 개념으로 전환되는 등 긍정적인 영향이 많다. 특히나 자율주행 자동차의 등장으로 신체적인 장애로 공간의 이동에 대한 제약이 있었던 사람들은 이를 충분히 극복할 수 있는 가능성이 열리게 되는 것이기도 하다. 또한, 인공지능 반도체가 탑재된 개인화된 인공지능 비서의 등장으로 우리의 삶은 더 편리해질 것이다.
그러나 반도체 기술의 발전이 항상 유토피아 같은 긍정적 미래만 가져오는 것은 아니다. 반도체 기술의 발전으로 인공지능이 빠른 속도로 우리 삶에 침투하게 될 텐데, 이로 인한 사회적, 윤리적 문제가 등장할 것이다. 예를 들어서, 자율주행 자동차에 적용된 인공지능 알고리즘은 각각의 상황마다 반도체를 통해 자동차를 주행함에 있어서 상황 판단을 내리게 될 텐데, 이러한 판단에 대한 책임 소재는 누구에게 있는 것인지에 대한 사회적 문제가 발생할 수 있다. 또한 알고리즘에 의해 주행되는 자동차가 사고를 일으켰을 때, 그 책임은 누가 질 것인지에 대한 문제도 아직까지 합의가 이루어지지 않은 상황이다.
이렇듯 반도체 공정이 미세화되고 소형화되면서 기술이 발전함에 따라 나타나는 사회적 문제들이 해결되지 않은 채 기술만 일방적으로 발전할 경우 사회에 혼란이 가중되는 등 부정적인 문제가 발생할 수 있다. 또한 인공지능이 NPU나 DPU를 통해 머신러닝과 딥러닝을 하는 과정에서 잘못된 데이터에 기반하여 학습을 하는 경우에, 학습의 결과도 편향적이고 비윤리적일 수 있는데 이러한 윤리적 문제를 어떻게 해결해 나갈 것인지도 중요한 과제이다.
이와 같이 반도체 기술의 발전은 유토피아와 같은 미래도, 디스토피아와 같은 미래도 불러올 수 있다. 그렇기에 앞으로 반도체 산업의 발전 과정에 있어서 반도체로 인해 발생하는 부정적 상황을 최대한 억제하는 사회적인 책임을 다해야 한다고 생각한다. 더 이상 반도체가 단순히 하드웨어에서 끝나는 것이 아니라, 소프트웨어와 결합하여 파괴적인 성능 향상을 일으키고 있기 때문에, 반도체라는 하드웨어 자체에 대한 개발도 중요하지만, 반도체를 작동하게 하는 소프트웨어에 대한 투자와 개발이 필요하다고 생각한다. 결국 위에서 언급한 반도체의 문제점 또한 반도체의 하드웨어적 문제가 아니라, 그것을 제어하는 소프트웨어와 알고리즘의 문제이기 때문이다.
따라서 앞으로 반도체 산업에서 소프트웨어에 대한 투자와 개발 의지를 바탕으로 사회적으로 건전한, 윤리적인 알고리즘을 개발하는 노력을 기울여야 한다고 생각한다. 그 과정에서 기술 발전만을 무조건적으로 지향하기보다는, 천천히 발전하더라도 반도체와 그 소프트웨어의 발전 과정에 있어서 발생할 수 있는 문제에 대한 사회적 논의와 기준을 마련해 나가면서 대한민국의 반도체 산업이 발전에 나간다면 앞으로 반도체 산업은 장기적으로 더욱 성장할 수 있을 것이고 우리 삶도 윤택해지는 방향으로 진화할 수 있을 것이라고 생각한다.
