자체 반도체칩을 만들어내는
테슬라의 강력함
※ ‘몽’이 쓴 글입니다.
테슬라를 공부하며 투자한 지 오랜 시간이 지났다. 테슬라는 자동차 회사인가? 그렇지 않다. 테슬라는 더 이상 단순 자동차 회사라 부를 수 없다. 테슬라는 더욱 강해지고 있다.
테슬라는 전기 동력의 단순 차량 제조를 넘어, 화학, 재료, 기계, 반도체, 소프트웨어 등 다양한 분야에서 그 능력을 키워왔다. 테슬라가 무서운 이유는 저 수많은 분야에서의 깊이가 각 분야에 특화한 회사들을 충분히 위협할 정도가 된다는 것이다. 그중에서도 테슬라의 칩, 도조 그리고 그들의 반도체 분야에 대하여 감히 몇 자 적어보려고 한다.
자동차 회사가 개최한 AI Day
작년 테슬라는 ‘AI Day’를 열었다. 보통의 사람이 듣기에 자동차 회사에서 AI를 논하는 게 어울리지 않아 보일 수 있으나, 테슬라는 ‘자율주행’을 시작으로 성장하는 AI 회사이기도 하다. 그들은 자신들의 연구 방향과 실행 방법을 대중에게 아낌없이 공개하였고, 미래 모빌리티의 모습을 구체적으로 보여주었다. 뜬구름 잡는 얘기가 아닌 현재 벌어지고 있는 실제의 얘기였다.
그중 하나가 도조(D1칩)였다. AI를 말하는 것도 조금 어색한데, 칩까지 직접 만들어서 자신들의 연구에 활용한다고? 제조와 설계 분야에서 8년 동안 일해본 나는 테슬라가 소개하는 도조를 들으며 매우 놀라웠다.
도조는 ‘도장(道場)’을 의미는 일본어다. 일본을 좋아하는 일론이라, 이 이름을 택했다고 생각한다. 단련/수련/훈련을 하는 그 도장을 말하는데, 테슬라는 D1에서 그들의 자율주행을 훈련시킬 계획이라고 한다.
도조는 우선 자율주행 학습에 사용된다. 수많은 실제 데이터 값 처리부터, 가상 시뮬레이션을 통한 기계 학습까지 실행한다. 테슬라는 자율주행 기술을 출발점을 AI 기술을 꾸준히 발전시켜 왔다. 더 진보된 뉴럴 네트워크 설립을 위해 도조는 유용하게 사용될 것이다. (차량에는 들어가지 않는다.)
왜 직접 칩을 만들까?
여기서 드는 일차적인 궁금증. 차를 만들고, 자율주행을 완성하려는 것은 알겠는데, 왜 칩까지 직접 만들까? 칩이라고 하면 이미 기존의 유명하고 뛰어난 회사들이 있고 다른 회사들처럼 사서 쓰면 되는데, 테슬라는 왜 직접 만들까?
보통 사람들이 말하는 “칩이 뛰어나다”는 말부터 보자. 바라보는 관점에 따라 조금씩 다를 수 있지만, PPA(power/performance/area)라는 기본적인 지표로 살펴볼 수 있다. 소모 전력과 연산 능력, 칩의 면적을 수치화하여 성능을 비교/판단하는 거다. 이를테면, 연산 능력이 아무리 뛰어나도 소모 전력이 너무 높다면 좋은 칩이라고 말하기가 어렵고, 성능과 파워가 뛰어나도 면적이 크다면 좋은 칩이라 말하기 어렵다.
이 기준으로 D1을 놓고 보자. 비교 제품은 GPU 제품군, 제조사(TSMC), 제조공정(7nm), 제품 사용 목적(AI/neural-engine)을 고려하였을 때 엔비디아(Nvidia) A100 칩으로 하였다. (과거의 파트너, 이제는 갈라설 때…)
전력 소모가 동일하여 비교가 매우 쉽다. 내용을 정확히 모르더라도, D1이 현재 가장 앞선 GPU로 불리는 A100보다 더욱 뛰어난 성능(전성비: 동일 성능일 때 전력 소모비)을 내고 있다. 심지어 면적은 22%나 더 작다. TSMC의 같은 공정을 통하여 더 적은 면적으로 생산하는 것은 그만큼 칩의 단가가 내려가는 것이므로 경제적인 측면으로도 뛰어나다. (다만 D1의 발표 시기가 A100이 나온 후 2년 뒤이므로 정확히 같은 공정은 아닐 수 있다.)
엔비디아의 경우 현존 최고의 GPU 칩을 설계하는 회사인데, 같은 분야의 회사도 아닌 테슬라가 이런 스펙(spec)의 칩을 설계한 것은 엄청난 일이다. 손흥민이 메이저리그(MLB)에서 홈런을 치는 격이랄까?
반면, ‘이미 잘 쓰고 있고 실력이 검증된 엔비디아의 칩을 좀 더 쓰면 되지 않을까?’라는 의문도 가져볼 수 있다. D1 개발 전, 테슬라는 이미 3개의 데이터 센터, 3000대 이상의 FSD 컴퓨터 등 수많은 리소스를 확보했으며, 오토라벨링(Auto-labeling), 1st Training, 2nd Training을 위한 3개의 클러스터를(엔비디아 GPUs 등) 갖고 있었음에도, 뉴럴 네트워크 학습을 위하여 직접 칩을 설계한 것이다. 도대체 왜?
우선 AI 연구의 시작 단계에서부터 엔비디아에게 종속된다는 것은 좋지 않은 방법이다. 어쩔 수 없이, 그리 뛰어나지도 않은 칩을 막대한 비용을 지불해가며 사용하는 것 말이다. 그리고 향후 자율주행을 넘어서는 AI의 연구를 진행하기 위해서는 시작부터 방향을 잘 설정해야만 비용과 시간 측면에서 매우 유리해진다. 일론은 아마 이 부분이 매우 절실하다고 느꼈을 것이고, 그 결과가 자체 칩 제작인 것이다.
질적 개선이 필요한 시점
단순 칩을 많이 구매하여 사용하는 방법이 좋지 않은지는 예시를 들어 설명하려 한다.
쉽게 하나의 작은 칩을 일꾼A라고 하자. 일꾼A가 할 수 있는 하루 일의 양은 1work라고 하자. 그럼 단순히 1000work의 일을 하루 만에 끝내기 위해서는 1000명의 일꾼A를 한 팀으로 꾸리면 된다. 이걸 보통 칩 Scale out(양적 개선)이라고 한다. 하지만 이건 단순 숫자 계산이고, 현실은 그리 녹록지 않다. 1000명이 모인다고 1000work의 일을 하루에 할 수 있는 게 아니다. 일을 할 때는 협업이 필요하기도 하고, 순차적으로 해야 하는 일도 존재한다.
그리고 일꾼이 늘어나면 그들 사이의 의사소통이 느려진다. 동시에 처리해야 하는 일이 있는데 무전기가 부족하여 동시에 하지 못하는 경우도 생기고, 두 명이 협업해야 하는데 의사소통에 문제가 생겨 약속 시간이 틀어지는 경우가 생기기도 한다. 사람이 많아지니 당연히 발생할 수 있는 일들이 생기는 것이다.
이게 바로 칩 scale out에서 발생하는 bandwidth와 latency의 문제점이다. 이 두 가지의 문제는 단순 확장의 개념을 철저하게 어렵게 만들어 버린다. 칩을 단순히 늘린다고 하여 성과가 정비례로 나타나지 않는 이유이다. 그렇기에 대량의 칩이 필요할 때는 성능 자체의 향상도 반드시 필요하다(Scale up 질적 개선). 결국 일론은 보통의 일꾼A보다는 뛰어난 일꾼B를 싸게 키워 작업을 시키려고 한 것이다.
AI day에서 테슬라가 발표한 자료D1은 어떻게 뛰어날 수 있을까?
테슬라는 칩의 목적을 정확하게 알고 있다. 보통의 칩만 설계한 회사들은 칩을 제작할 때 오로지 성능에만 집중한다. 즉 공식적인 스펙을 향상 시킨다. 그렇게 되면 칩 설계에 매우 집중할 수 있는 장점이 있지만, 치명적인 단점이 생겨버린다. 바로 범용적 칩을 만들 수밖에 없게 되는 것이다. 과거부터 최근까지는 이 부분이 기술의 발전에 가려져 보이지 않았지만, 제조 기술의 개선이 쉽지 않은 지금에 들어서는 설계만으로는 좋은 칩을 만들기가 어려워진 것이다. 여기서 하드웨어-소프트웨어-제품의 결합이 중요해진다.
테슬라 차량(제품)엔 테슬라가 직접 만든 하드웨어-소프트웨어가 들어간다. 그리고 자율주행 등 AI 연구를 위한 슈퍼컴퓨터의 칩(하드웨어)과 소프트웨어를 자체 제작한다. 어떤 회사가 떠오르지 않나? 바로 애플이다. 제품과 소프트웨어, 하드웨어를 직접 다 만들어 부드러우며 폭발적인 퍼포먼스를 보여준다. (단, 칩 제조만은 TSMC.)
개발을 할 때, 범용성을 최대한 줄이고 오로지 자신들만의 칩을 만드니 제품에 더 잘 맞는 뛰어난 칩을 만들 수 있게 되는 것이다. 이러한 방식으로 큰 그림을 정하니, 칩에서 연산을 가장 빠르게 하기 위한 최소 단위 설계에 집중할 수 있었고, 그 결과가 D1으로 나타난 것이다. 그리고 그 안에서 수행되는 강력한 소프트웨어(컴파일러)와 효율적 계산을 위한 FP8을 만들어 칩의 구동을 한층 더 빠르게 끌어올릴 수 있었다.
컴파일러(Compiler): 프로그램 언어를 기계어(101011 같은 이진수)로 번역해주는 프로그램, 컴파일러의 수준에 따라서 수행 속도 차이가 발생한다.
FP8(Floating Point 8): 부동소수점을 나타내는 방식. 현재까지는 16/32/64bit 이상을 사용해왔다. bit 숫자가 클수록 다양하고 정확한 값을 나타낼 수 있지만, 뉴럴 네트워크에서의 연산의 경우 8bit 정확도만으로도 충분한 결과를 나타낼 수 있다는 판단으로 더 작은 단위의 FP8을 만들었다. 숫자가 작아지면 속도를 더 높일 수 있다. 엔비디아 A100의 경우 FP16까지 가능하다.
그리고 이런 D1 칩을 25개 연결하여 training tile을 구성하고, 12개의 training tile로 1개의 cabinet을 만든다. 그 후 10개의 cabinet이 모여 ExaPOD을 이루는데 이걸 super computer라고 부른다.
training tile, cabinet, ExaPOD: 점점 더 커지는 칩의 군락 단위를 나타낸 것이다.
현재 테슬라의 수퍼컴퓨터 (출처: 테슬라)뉴럴 네트워크에 대한 깊은 이해를 바탕으로, 실제 어떤 목적으로 사용할지 확실히 하고 그걸 위한 소프트웨어/하드웨어/제품을 같이 개발하니 괴물이 탄생할 수밖에 없는 것이다. 테슬라가 그들만이 할 수 있는 기술을 만들어온 핵심 정신은 이러한 것이다.
지금까지의 긴 이야기에 비해 내릴 결론은 사실 너무나 짧다. 테슬라의 정신은 쉽지만 아무나 할 수 없다. 이미 테슬라의 생태계는 구축되어가고 있으며, 사람들은 그 안으로 하나둘 들어가고 있다. 머스크 사단이 만들어내는 미래는 단순 자동차 회사를 뛰어넘어 지금까지 없던 새로운 분야의 무엇일 것이다. 기대된다.
