by
Apr 07. 2020
CPU와 GPU 사이 어디쯤…AI 반도체 틈새 만들까
IPU 반도체 만든 나이젤 툰 그래프코어 대표 인터뷰
반도체 시장은 크게 메모리와 비메모리 분야로 나뉩니다.
메모리는 데이터를 저장하는, 비메모리는 데이터를 계산하는 데 주로 쓰입니다.
그런데 인공지능(AI)의 대두와 빅 데이터의 폭발적 증가 등 소프트웨어 환경의 변화로 반도체의 기능적 변화도 필요해지고 있습니다.
특히 클라우드와 5G 환경이 자리 잡으며 반도체의 융복합적 성능과 빠른 연산과 기억 등이 중요해졌습니다.
과거보다 CPU보다는 GPU 등 특정 분야에 특화된 제품의 중요성이 더욱 부각되고 있습니다.
AI 시대에 걸맞은 NPU 등 신개념 반도체도 등장하고 있습니다.
이 때문에 인텔은 옵테인 등의 하이브리드 제품을 내놓고 있고, 삼성전자 ARM, 엔비디아 등 반인텔 진영도 연대를 구축하고 있습니다.
1970~80년대 글로벌 반도체 시장이 메모리를 중심으로 한 일본과 비메모리를 중심으로 한 미국으로 양분된 것과 비슷한 양상의 그림이 펼쳐질 수 있습니다.
물론 당시 일본 기업들도 비메모리 반도체 시장에 뛰어들고 싶었지만, 원천 기술 부족으로 메모리에 만족하고 말았습니다.
이런 가운데 그래프코어라는 영국 스타트업이 IPU라는 신개념 반도체를 들고 나왔습니다.
IPU는 CPU의 하단과 사이드에 직접 메모리 반도체를 심어 처리 속도를 높이는 한편, GPU가 커버하지 않는 소단위 데이터를 처리하는 데 특화된 모듈형 반도체입니다.
높은 클럭으로 방대한 양의 데이터를 처리해도 전력 소모량이 크지 않습니다.
이런 기술은 삼성전자나 HP 등 글로벌 기업들도 많이 연구해왔으나, IPU처럼 가시화된 제품을 내놓은 것은 그래프코어가 거의 최초입니다.
그래프코어는 2016년 영국에서 시작된 스타트업으로 알테라·이매지네이션을 거친 나이젤 툰과 엘리먼트14·아이세라의 창업자 사이먼 놀스가 공동 창업한 회사입니다.
AI 지향형 반도체 기업이기 때문에 회사 홈페이지 도메인도 'ai'를 쓰고 있습니다.
그래프코어는???
■회사 개요
설립일: 2016년
직원 수: 400여 명
본사 위치: 영국 브리스톨
■투자 유치 실적
-2016년 10월: 시리즈A 펀딩 3200만 달러 유치,
투자사: 델 테크놀로지스 캐피털, 보쉬, 삼성전자(이상 SI) 아마데우스캐피털 파트너스, 파운데이션 캐피털, 피탕고, 드레이퍼 에스프리트, C4 벤처
-2017년 7월: 시리즈B 펀딩 3000만 달러 유치
투자자: 아토미코, 데미스 하사비스, 그레그 브록먼, 일리야 수츠케버, 피터 아빌, 스콧 그레이, 주빈 가라마니,
-2017년 11월: 시리즈C 펀딩 5000만 달러 유치
투자사: 세쿼이아 캐피털
-2018년 12월: 시리즈D 펀딩 2억 달러 유치
투자사: BMW, 마이크로소프트, 메리안 크라이살리스, 소피나
-2020년 2월: 시리즈D2 펀딩 1억5000만 달러 유치
투자사: 베일리 기퍼드, 메이페어 에퀴티 파트너스, M&G 인베스트먼트
■ 주요 제품
콜로서스(Colossus) IPU
그래프코어가 독자 설계로 만든 ‘콜로서스(Colossus) IPU(지능 처리 장치:Intelligence Processing Unit)’는 기존 중앙처리장치(CPU)나 GPU와 달리 프로세서에 직접 메모리를 배치하였다. 이를 통해 학습 및 추론 모델을 메모리에 적재한 후 바로 연산할 수 있게 되어 CPU, D램, GPU 간 지연을 제거하고 연산 속도를 획기적으로 향상시켰다. 무엇보다 그래프코어 ‘콜로서스(Colossus) IPU’는 새로운 머신 인텔리전스 워크로드를 실현할 수 있도록 설계되어, 자연어처리(NLP) 경계 확장에 중점을 두고 있으며, 기계 지능 개선에 우선순위를 두고 있다.
‘콜로서스(Colossus) IPU’는 업계 최초의 메모리 중심적 아키텍처로서, 1,200개 이상의 병렬 코어로 150W에서 125 TFLOPS의 연산속도를 제공한다. ‘콜로서스(Colossus) IPU’는 아키텍처를 통해 구현되는 성능상의 이점을 살펴보면, 연산 성능(카드당 2배 이상 향상), 엣지에서의 전송속도 지연을 최소화하고(실시간 애플리케이션에서 탁월), 기계 학습 소요 시간을 줄이고, 전력 효율적으로 메모리를 사용할 수 있다. 또한 학습과 추론에 동일한 HW 및 SW를 사용하여 높은 유연성을 제공하며, 엣지로부터 클라우드에 이르기까지 지속적으로 증가하고 있는 새로운 솔루션에 모두 적용할 수 있는 높은 확장성을 제공한다.
이에 나이젤 툰 최고경영자, 강민우 그래프코어 한국지사장님을 서면 인터뷰했습니다.
IPU의 강점와 앞으로 반도체 시장 동향, 한국 시장 진출 이유 등을 들어봤습니다. 서면 인터뷰 내용을 최대한 원문 그대로 실었습니다.
폭넓은 인사이트를 얻을 수 있는 기회였습니다.
고생해 준 대행사분들께 감사드립니다.
나이젤 툰Q. 그래프코어는 어떤 회사인가.
A. 그래프코어는 반도체 기업으로 인공지능(AI) 및 머신러닝(ML)을 가속화하는 칩을 개발하고 있는 기업이다. 지난 2016년 영국 브리스톨에서 나이젤 툰(Nigel Toon) 최고경영자(CEO)와 사이먼 놀스(Simon Knowles) 최고기술책임자(CTO)가 AI 시대와 머신러닝에 특화한 반도체의 필요성에 주목하여 공동으로 창업했으며, 현재까지 투자자들로부터 약 4억5000만 달러를 유치했다.
Q. IPU가 가진 NPU·FPGA와의 차별성은 무엇인가.
A. IPU는 나이젤 툰(Nigel Toon) 최고경영자(CEO)와 사이먼 놀스(Simon Knowles) 최고기술책임자(CTO)가 설립한 스타트업인 그래프코어가 독자 설계한 칩으로, CPU나 GPU, IP블록 단인 NPU나 FPGA와 다르게 프로세서에 직접 메모리 블록을 배치한 것이 가장 큰 차이점이다. 콜로서스(Colossus) IPU는 1216개의 독자 IPU 코어로 구성됐으며, 각 코어 당 256KB의 메모리(SRAM)가 탑재돼 총 311 MB의 메모리를 내장하고 있다. 각 메모리는 코어에 종속돼있지 않기때문에 하나의 코어가 여러 개의 메모리를 활용할 수 있다. 콜로서스는 독립 코어 당 메모리를 타일 형태로 배치해서 지연을 줄이고, 학습 및 추론 모델을 메모리에 적재한 후 바로 연산 가능해 연산 속도가 빠르다는 특징이 있다. 기존 AI칩과 달리 코어 당 메모리를 각각 배치한 새로운 아키텍처로, 연산코어에 가장 밀접한 곳에 메모리를 배치시켜 지연을 최소화했다는 점이 주목할만하다.
IPU 각 코어 당 연산 성능은 100GFLOPS로, 7000개 이상 최대 1만개의 프로그램을 병렬 실행할 수 있으며 150W 기준으로 총 125TFLOPS의 연산 속도를 제공한다. 칩 당 메모리 대역폭은 45TB/s로, 콜로서스 2개를 결합한 콜로서스 C2 카드는 총 90TB/s의 대역폭을 제공한다. C2의 트랜지스터 수는 236억개고, 칩 간 대역폭은 320GB/s 이다. 4세대 PCIe 기술이 적용돼 양방향 호스트 통신 대역폭은 64GB/s에 달한다. 두 IPU 간 8TB/s 대역폭의 IPU 익스체인지(Exchange) 블록이 탑재됐다. 또한 AI 머신러닝을 위해 고안된 자사 소프트웨어 스텍 포플러(Poplar)와 함께 작동한다.
Q. 아직 IPU에 대한 고객사들의 인식이 높지 않다. 만약 기업들이 IPU를 도입했을 때 얻을 수 있는 효과는 무엇인가.
A. IPU가 활용될 수 있는 대표적인 분야는 구글, 네이버 등의 검색엔진 서비스이다. 검색엔진은 정확하고 빠른 검색이 중요하다. 버트 모델 평가에서 IPU는 충분히 좋은 성과를 냈다. 주식거래와 같이 실시간 확률 계산이 핵심인 금융 업종에서도 IPU는 MCMC(Markov Chain Monte Carlo) 모델에서 우수한 성능을 입증한 바 있다(기존 하드웨어로 2시간 이상 걸린 작업을 4분 30초 만에 최적화할 수 있으며 학습 시간은 26배 빨랐다.)
IPU는 GPU보다 전력 사용량이 2배 이상 적어 데이터를 분석해서 컴퓨터 스스로 판단하고 학습할 수 있는 능력인 머신러닝에 더 적합하다 또 그래프 기반의 아키텍처로 자연어처리(NLP)에 탁월한 성능을 보여준다. 혁신 기술을 활용하는 기업에서 이를 서비스, 제품 개발에 활용할 수 있어 IPU의 수요가 높을 것으로 기대된다. 대표적으로 금융, 헬스케어 분야에서 도입 효과가 클 것으로 판단된다. 작년 12월에 발표된 미국 금융 백서에서는 그래프코어의 IPU가 유용한 기술로 소개됐다. 이는 IPU가 빠른 연산 속도로 인한 신속한 대응이 가능하기 때문이다. 또 의료 분야에서는 보건, 의료 공학, 신약 개발 등에도 사용될 수 있다.
Q. 서버용 IPU도 개발하고 있나. 클라우드 기업이 IPU를 도입했을 때 어떤 효과를 얻을 수 있나.
A. 그래프코어 IPU는 Dell 서버 랙 기술과 통합되고 있다. 이를 통해 기업 고객이 직접 머신 인텔리전스 컴퓨팅을 구축할 수 있도록 지원할 방침이다.
델 DSS 8440 IPU-서버<아래는 델 DSS 8440 IPU-서버 관련 내용입니다.>
DSS 8440 IPU-서버는 머신 인텔리전스 애플리케이션에 탁월한 고성능을 제공하도록 설계된 2소켓, 4U 서버로서, 총 1.6PetaFLOPs의 혼합 정밀도 머신 인텔리전스 연산 처리 능력을 제공하는 8개 그래프코어 듀얼-IPU C2 카드를 탑재하고 있다.
DSS 8440 IPU-서버는 C2 카드상의 2개 IPU 간에 192GB/s의 “단(rung)”으로 이루어진 IPU-Link “단계적(ladder)” 토폴로지와, C2 카드 간에 총 256GB/s의 양방향 대역폭을 활용한다. 해당 배치를 통해 IPU 및 C2 카드 전반에서 모델, 매개변수, 활성화 및 데이터를 고속으로 공유할 수 있습니다.
C2 카드는 고속 PCIe Gen3 스위칭 패브릭을 통해 DSS 8440 IPU-서버 Xeon 호스트 CPU로 연결된다. DSS 8440 IPU-서버 내 4개의 개별 PCIe 스위치가 있지만, 이 경우에서는 “블랙박스(black box)” PCIe 패브릭으로 토폴로지 형태로 나타납니다. IPU는 독립적으로 자체 머신러닝 프로그램 실행이 가능하므로 호스트 CPU가 머신 인텔리전스 프로세싱 작업에 직접 관여하지 않는다.
나아가 DSS 8440 IPU-서버는 광범위한 로컬 스토리지를 탑재했으며, IPU는 해당 호스트 시스템 메모리를 직접 사용할 수 있어 대규모(수십억 개 매개변수) 모델을 수반하는 애플리케이션에 특히 유용하다.
분산형 학습 애플리케이션의 경우, DSS 8440 IPU-서버는 일반적으로 기본 듀얼 100Gpbs 인피니밴드(InfiniBand) 어댑터를 이용해 서버 간 확장을 위한 다수의 100Gbps 네트워크 링크를 제공한다. 해당 DSS 8440 IPU-서버 토폴로지 그림은 데이터 및 모델 병렬 구성에서 학습 또는 추론을 위한 단일 머신 인텔리전스 모델 구현을 검토할 때 사용된다. 이와 같은 기능적 특징을 바탕으로 DSS 8440 IPU-서버가 머신 인텔리전스 분야의 학습 및 추론 애플리케이션에 탁월하다.
Q. IPU를 도입해 현재 사용하고 있는 기업의 사례가 있나.
A. 지난해 MS는 클라우드 컴퓨팅 플랫폼 애저(Azure)에 그래프코어 IPU를 탑재해 고객에게 좀 더 편리한 AI 개발 환경을 제공한다고 밝혔다. MS 애저에 IPU가 적용되면 사용자들은 애저 플랫폼 안에서 머신러닝이나 자연어처리 등을 통해 신규 서비스나 제품을 개발할 수 있다. 또한 그래프코어 IPU는 델 서버 랙 기술과 통합되고 있다. 이를 통해 고객이 직접 머신 인텔리전스 컴퓨팅을 구축할 수 있도록 지원할 방침이다.
Q. 그간 PC와 스마트디바이스 제조사들은 CPU•API 성능에 맞춰 제품을 개발해왔고, 이 때문에 자사의 특장점을 살린 제품을 만드는데 어려움을 겪었다. 그래프코어는 기업들의 요구에 맞춰 AI 알고리즘과 IC 로직에 커스터마이징이 가능한가.
A. 앞서 설명한 바와 같이 그래프코어 IPU는 320GB/s를 지원하는 IPU링크(IPU-LINKS)로 최대 1만개까지 칩 간 병렬 구조로 시스템 구성이 가능하며 여러 학습 및 추론 모델에 적용하여 기업의 다양한 요구 사항을 충족할 수 있다.
Q. IPU는 5G 통신 환경에서 에지 서버에 유용하게 사용될 것으로 보인다. 그러나 엔비디아 EGX 등 경쟁사가 이미 시장을 공략 중이다. 그래프코어만의 특장점이 있다면.
A. 엣지 컴퓨팅은 1~20W의 저전력을 요구하는 반면, 그래프코어 솔루션의 경우 현재 사용 전력은 75W여서 당장 엣지 컴퓨팅에 적용하기 어려운 부분이 있다. 하지만 향후 엣지 컴퓨팅 분야에서도 더 많은 연산이 요구될 것으로 예상되며, 그래프코어 또한 다양한 IPU 제품군을 출시할 예정으로 약 2년 뒤에 엣지 시장에 진입 가능할 것으로 보고 있다.
아울러 IPU는 GPU를 대체하는 개념이 아닌, 상호보완적인 관계이다. 이를테면 GPU의 경우 상당히 큰 사이즈의 벡터(Vector) 구성으로 돼 있기 때문에 배치(Batch) 사이즈가 큰 대용량 이미지 관리에서 유리하다. GPU는 이미지 처리를 위해 설계됐기 때문에 영상 의학 분야에서 유리하다. 반면, IPU는 배치 사이즈가 작은 경우에 GPU보다 월등하다. 또한 자연어 처리를 비롯해 데이터가 분산되어 있는 경우에도 강점을 지닌다.고객사의 머신러닝과 딥러닝의 모델링이 무엇이냐에 따라 만족도가 크게 달라질 수 있어 한국지사에서는 AI 머신러닝 랭귀지를 개발자 수준으로 할 수 있는 엔지니어를 모집해 아키텍처를 업그레이드할 계획이다.
Q. AI를 위한 고연산이 필요한 응용프로그램은 아직 대중화되지 않았다. IPU의 시장성은 어떻게 보며, 본격적으로 시장이 커지는 시점은 언제로 예상하나.
A. 현재 고성능 AI 분야에서 학습 및 추론이 모두 가능한 기업은 엔비디아, 구글, 그래프코어가 유일하다고 해도 과언이 아니다. 그만큼 학습과 추론이 전부 가능한 AI 칩을 개발하는 것은 어려운 일이다. 또 AI칩은 소프트웨어 또한 상당히 복잡하다. 인텔은 자사 AI 칩인 너바나 개발을 중단하고 하바나 랩스의 AI 가속기인 하바나에 주력할 것이라고 발표한 바 있다. 이와 달리 그래프코어는 실질적으로 혁신을 실현할 수 있는 영역에 중점을 두고 있다.
또한 기업의 구매 여력을 파악하는 것도 중요하다. 그래프코어는 AWS, MS 애저, 알리바바 등 하이퍼스케일 데이터센터나 클라우드 서비스 제공 업체를 주요 고객으로 파악하고 있다. 구매 여력이 있으며 해당 업계에 대한 투자도 활발히 일어나는 실정을 고려했을 때 향후 IPU의 시장 전망에 대해 긍정적으로 보고 있다.마침 그래프코어는 MS 애저로부터 투자를 받은 바 있으며, 현재 2세대 IPU를 비롯해 다양한 분야 및 애플리케이션에 적용 가능하도록 제품 출시를 준비하고 있어 빠르면 2년 내에 본격적으로 점유율을 확대할 수 있을 것으로 예상된다.
Q. 현재 그래프코어는 4차 산업혁명과 AI 반도체 시장에서 조금씩 자리 잡기 시작했다. 짧은 기간 성장한 비결이 있다면.
A. 인공 지능 분야 시장은 빠르게 성장하며 떠오르고 있는 신흥 시장이다. 그래프코어는 시장 성장 초기 단계부터 AI 하드웨어 분야에서 일찌감치 자리를 잡게 됐고, 이것이 그래프코어의 성공에 기여했다고 본다.
그래프코어의 두 번째 강점은 대규모 기술 전문 기업을 설립하고자 했던 그래프코어의 포부를 공유하는 권위 있는 전략적 투자자들을 유치할 수 있었다는 점이다.
마지막으로 세계 최고 수준의 업계 전문가 인력을 영입할 수 있던 점이 성장 비결 중 하나라고 본다. 그래프코어는 반도체 및 인공 지능 분야에서 가장 뛰어난 인재들을 주요 비즈니스에 섭외했다.
Q. 4차 산업혁명이 진행되는 과정에서 그래프코어는 어떤 역할을 할 것으로 예상하나.
A. 그래프코어 IPU는 기존에 경험해보지 못한 빠른 학습과 추론을 위한 속도를 보장한다. 이를 바탕으로 4차 산업혁명을 주도하는 다양한 분야에 접목되어 더욱 활발히 도입될 것으로 예상한다. 그래프코어는 AI 프로젝트를 진행하는 공공 기관을 비롯하여 주요 기업과 연구소에서 사용하는 데이터센터 등에서 필요한 AI프로젝트를 완벽하게 수행하기 위한 컴퓨팅 시스템에 IPU를 공급할 수 있다. 앞으로 국내에서도 기업 고객들의 변화하는 수요에 맞춰 공격적으로 시장을 개척하고, 최적의 제품과 서비스 제공을 위해 조직 확대 및 지원에 적극 나설 것이다.
Q. 사이먼 놀스 등 그래프코어 공동 창립자는 어떻게 회사를 창립했으며 그 과정에서 에피소드는 있을까요? 또 그는 경영자로서 어떤 타입의 CEO인가.
A. 그래프코어 설립 이전에 최고경영자(CEO) 나이젤 툰(Nigel Toon)과 최고기술책임자(CTO) 사이먼 놀스(Simon Knowles)는 3G(3세대) 셀룰러 모뎀 칩 개발 기업인 아이세라(Icera)를 공동 창립한 바 있으며, 이를 2011년 미국 소재 기업에 매각했다. 당시 인수가는 4억3500만 달러이다.
나이젤과 사이먼은 급부상하는 인공지능 분야에서 새로운 기회가 창출될 것이라 판단, 신규 마이크로프로세서가 이를 지원할 수 있을 것이라고 보았다. 이에 혁신 기업들이 직면하고 있는 AI 하드웨어와 관련된 도전 과제를 해결하기 위해 2016년 그래프코어를 공동 설립하게 됐다.
Q. 그래프코어 전반적인 경영철학은 무엇인가. 한국 스타트업에게 시사점은.
A. 그래프코어의 기업 미션은 구체적으로 머신 인텔리전스 구현을 위해 설계된 차세대 컴퓨팅 기술 개발이다. 그래프코어는 자사 IPU를 통해 업계 및 연구 전반에 걸쳐 혁신 기업들이 차세대 AI를 위한 돌파구를 ~ 있도록 지원한다. 그래프코어는 의료분야의 혁신부터 5G(5세대) 네트워크 가속화에 이르기까지 인류에게 도움을 주는 머신 인텔리전스 구축을 지원하는 등 고객 지원에 중점을 두고 있다.
그래프코어는 영국 브리스톨에 본사를 두고 이 외에도 영국, 유럽, 미국, 중국, 대만, 한국 등 전세계에 지사를 설립해 기업 성장에 주력하고 있으며, 설립 당시 업계 전문가들을 채용했던 바와 같이 회사 규모 확대에 따라 각 분야의 최고 인재를 영입하여 더 나은 기업으로 발전을 거듭하는 데에 목표를 두고 있다.
Q. 그래프코어는 B2B 기업이지만 MS와 협력 이후 알려지기 시작했다. 그래프코어가 발전하는 과정에서 비하인드 스토리가 있다면.
A. 2016년 창립 이래로 그래프코어는 가장 최근에 유치한 1억5000달러를 포함해 마이크로소프트, 삼성전자, 로버트 보쉬 벤처 캐피털(Robert Bosch Venture Capital), BMW 벤처, 델 테크놀로지스 캐피털(Dell Technologies Capital) 등 전략적 투자자들로부터 지금까지 총 4억5000만 달러를 유치했다.
지난해 MS와의 파트너십 발표 외에 델(Dell)로부터 수주한 최초 그래프코어 IPU서버인 Dell DSS8440을 출시하기도 했다. 2019년 그래프코어 IPU 제품들은 대량생산에 전면 돌입했으며 처음으로 고객에게 제품 발송을 시작했다. 그래프코어는 MS 및 델과의 협업과 함께 초창기에 접촉한 고객들과 수년간 협력해 온 바 있으며, 그 가운데 일부로부터 괄목할만한 성과를 거두었다.
Q. 지난 5년 동안 그래프코어가 겪었던 가장 큰 어려움은 무엇이었나. 또 이를 어떻게 극복 했나.
A. 업계 최고의 인재 영입과 글로벌 유수 투자자를 유치하는 일은 기업에게 본질적으로 어려운 도전 과제들이다. 그래프코어는 AI를 가속화하는 전례 없는 신규 기술 개발을 통해 전세계 혁신 기업들과 활발한 협업 관계를 유지하고 있으며, 다양한 투자자들을 유치하고 있다. 나아가AI시장은 급성장하고 있지는 분야이지만 빠르게 변모하는 만큼 오늘날 사회가 직면하고 있는 문제는 물론, 미래의 문제들을 해결할 수 있는 제품 개발에 더욱 힘써야 할 것이다.
강민우 그래프코어 한국지사장