아크인베스트먼트 보고서: 딥러닝의 네번째 축, 트랜스포머
ARK lnvestment의 인공지능 보고서 공유합니다. 지난 3월에 발표된 내용인데요. 요약하자면 엄청난 규모의 딥러닝의 성장은 곧 인공지능 칩 시장까지 성장할 수 있다는 내용입니다. 반도체, 인공지능 관련 분야 투자에 참고해보시면 좋을 것 같아요 : ) - 원문을 그대로 번역하려고 노력했지만 어려운 용어는 찾아서 덧붙여 놓았습니다.
현대의 인공지능(AI)은 크게 세 가지 범주의 신경망에 의해 작동돼 왔습니다. 각각은 서로 다른 시장에 초점을 맞춘 고유한 기능을 가지고 있었죠.
첫 번째, 컨볼루션 신경망(CNN)은 수학적 연산으로 이미지를 인식하는 딥러닝의 대표 알고리즘입니다. 인간의 시신경을 분석해서 만들다 보니 복잡한 패턴의 이미지를 인식해 여기서 높은 수준의 데이터를 추출할 수 있습니다. 이미지 레이블링, 비디오 분석 및 자율 주행에서 활용되어 왔고요.
순환 신경망(RNN)은 이름에서 유추할 수 있듯 직렬로, 즉 순서대로 반복되는 학습에 특화된 알고리즘인데요. 여러 단계를 순차적으로 처리해야 하다 보니 특히 음성 등의 자연어 처리에 많이 활용되어 왔습니다.
마지막으로 MLP(Multi-layer Perceptrons)는 복잡한 패턴 분류를 위해 입출력 간의 복잡한 변환 구조를 만들어 낼 수 있도록 한 뉴런인데요. 주로 정확한 순위와 추천을 만들어 인스타그램, 넷플릭스, 유튜브와 같은 검색과 콘텐츠 피드에 힘을 실어주는 역할을 하죠. 오늘날, 이 세 가지 범주의 딥 러닝 알고리즘이 Google 및 Facebook의 AI 워크로드의 대부분을 지원해왔습니다.
구글이 만든 트랜스포머는 AI의 영역을 새로운 시장으로 확대할 수 있는 가능성을 가진 4번째 부문으로 꼽히고 있습니다. 컴퓨터가 전례 없는 정확도로 언어를 이해할 수 있게 해주는 새로운 아키텍처인데요. 단어를 순차적으로 처리했던 이전 언어 모델과 달리, 트랜스포머는 문장에서 단어 간 및 단어 간의 연결을 식별할 수 있습니다. 예를 들어 ‘I arrived at the bank after crossing the river’ (강을 건너 강둑에 도착했다)는 문장에서 트랜스포머는 ‘bank’를 은행(bank)이 아닌 ‘강둑(bank)’으로 인식합니다.
ARK는 트랜스포머는 자연어 모델의 시장 출시 기간을 단축시켰다고 진단했습니다. 딥러닝이 주목을 받기 시작한 건 ILSVRC(ImageNet Large Scale Visual Recognition Challenge)라는 이미지 분류 대회에서입니다. 에러율이 급격하게 낮은 Alexnet 모델이 등장하면서 주목을 받기 시작했죠. 이 대회에서 인공지능이 인간과 대적할만한 성과를 내는 데 5년이 걸렸는데요. 트랜스포머 덕분에 대표적인 자연어 처리 평가 지표인 GLUE 테스트에서 인공지능은 1년 만에 인간을 뛰어넘었습니다.
ARK는 딥 러닝과 관련해 2017년 초 인공지능 혁명 백서를 공개했을 때 복잡한 언어 모델을 ‘문제점’으로 제시했었는데요. 당시 ARK는 미래 신경망은 아마도 ‘기억’를 통합함으로써 AI의 능력을 ‘언어 이해’로 확장할 것이라고 추측했습니다. 이어 트랜스포머가 목표를 달성했죠. 트랜스포머는 쌓이면 텍스트를 ‘기억’할 수 있어 구글의 미나 챗봇과 같은 모델들이 일관성 있는 대화에 참여할 수 있습니다.
ARK는 투자자의 관점에서 살펴봤을 때 트랜스포머는 AI 시장을 의미 있게 확대할 것으로 진단했습니다. 현재까지 CNN, RNN, MLP 등 세 가지 신경망 유형이 AI 시장에서 진화한 사용 사례를 보여주고 있지만 4번째 사례인 트랜스포머는 이를 활용한 (지금까지는 불가능했던) 시각 및 음성 애플리케이션을 만들어내고 발전을 가속화할 수 있다는 것이죠. ARK는 새로운 서비스와 기업이 자연어 이해를 바탕으로 진화할 것이라고 믿는다고 짚었는데요. 그 중에는 정보 검색, 콜센터 자동화, 문서 요약, 문서 생성 등이 포함될 것이라고 덧붙였습니다. 곧 트랜스포머의 등장이 인공지능 시장의 규모를 더 키울 것이라는 분석입니다.
실제 기업들도 움직이고 있습니다. 연구에 따르면 2019년 말 기준 알파벳, 아마존, 엔비디아, TSMC와 같은 기업들이 딥러닝과 관련해 약 1조 달러(약 1,000조 원)를 투자했고 2020년에도 약 2,500억 달러(278조 원)에서 5,000억 달러(약 557조 원)를 추가 투자했기 때문입니다. 결국 ‘네 번째 축’인 트랜스포머는 상당한 기회를 창출할 수단이 될 것이고 AI가 향후 20년 동안 전세계 주식 시가총액 창출에 약 30조 달러(약 3경 3000조 원)를 기여할 것이라는 ARK의 장기 전망에 대한 자신감을 높여주는 결과입니다.
ARK의 분석은 복잡한 언어 모델이 AI ‘칩’ 시장에 단기적인 영향을 미칠 것이라는 것을 시사하는데요. 현재 40억 달러(약 4조 원)에 달하는 칩 시장은 세 개의 확립된 신경망 아키텍처를 훈련하고 운영하고 있지만 트랜스포머 기반 언어 모델은 약 10배 더 많은 용량을 필요로 하기 때문이죠. 언어 모델 기반의 서비스에는 연간 10억 달러(1조 원) 이상의 인공지능 하드웨어 관련 지출이 수반될 수 있습니다.[끝]