차세대 인공지능 - 제1편
포브스지 온라인 기사 번역
지난 주 MIT 테크놀리지 리뷰의 제프리 힌튼 인터뷰는 딥러닝에 대한 비전을 함축적으로 전달 했다면 이번 주에는 포브스지에서 롭 토이스(Rob Towes)가 얀 르쿤과 요수아 벤지오의 인터뷰를 좀더 기술적으로 서술해서 영한 번역을 해 보았습니다.
지난 번과 마찬 가지로 글을 읽기 전에 한 가지 유념해 주실 것은 이 글 원본에 대한 저의 번역에 대하여 잡지사 측으로부터 허락받지 않고 게재합니다. 그러므로 이 글에 대해 저작권과 번역권을 저는 가질 수 없습니다. 또한 만일 포브스에서 그러한 권리를 주장한다면 이 글을 내릴 수도 있습니다. 끝으로 이 글에 대해 어떠한 상용이나 기업 내부의 자료에 사용할 수 없고 읽어 보시기만 권장드립니다.
인공 지능 분야는 빠르게 움직입니다. 2012년 이미지넷(ImageNet) 대회에서 딥 러닝의 현대 시대가 시작된 지 불과 8년밖에 되지 않았습니다. 그 이후로 이 분야에서의 진전은 숨이 멎을 정도로 가차 없었습니다.
어쨌든, 이 맹렬한 속도는 매우 가속되고 있습니다. 지금부터 5년 후 인공지능 분야는 오늘날과는 매우 다르게 보일 것입니다. 현재 최첨단으로 간주되는 방법은 구식이 될 것입니다. 오늘날 초기 단계이거나 주변에 있는 방법이 주류가 될 것입니다.
[그림 1] 딥 러닝의 대부들 중 한 명인 인공지능의 전설인 얀 르큔의 자율 학습 강연 중차세대 인공 지능은 어떤 모습일까요? 어떤 새로운 AI 접근 방식이 기술과 비즈니스에서 현재 상상할 수 없는 가능성을 열어 줄까요? 이 기사에서는 앞으로 몇 년 동안 분야와 사회를 재정의할 인공지능 내 세 가지 새로운 영역을 집중 조명합니다. 지금부터 공부 시작하세요!
1. 비지도 학습
오늘날 인공지능 세계에서 지배적인 패러다임은 지도 학습입니다. 지도 학습에서 AI 모델은 사전 정의된 카테고리에 따라 인간들이 체계화하고 레이블을 지정한 데이터셋에서 학습합니다. ("지도 학습(Supervised Learning)"이라는 용어는 인간 "감독관(supervisor)"이 데이터를 미리 준비한다는 사실에서 비롯됩니다.)
지도 학습이 지난 10년 동안 자율 주행 차량에서부터 음성 비서에 이르기까지 인공 지능 분야에서 괄목할 만한 발전을 주도했지만 심각한 한계가 있습니다. 수천 또는 수백만 개의 데이터 포인트에 수동으로 레이블을 지정하는 프로세스는 엄청나게 비싸고 번거로울 수 있습니다. 머신러닝 모델이 데이터를 수집하기 전에 사람들이 직접 데이터에 레이블을 지정해야 한다는 사실은 인공지능의 처리과정에서 주요 병목 현상이 되었습니다.
더 깊은 수준에서 지도 학습은 좁고 제한된 형태의 학습을 나타냅니다. 지도 학습된 알고리즘은 주어진 데이터셋에서 모든 함축된 정보, 관계 및 의미를 탐색하고 병합할 수 있는 대신 연구자들이 미리 식별한 개념과 범주에만 집중합니다.
반대로 비지도 학습은 알고리즘이 사람들이 제공한 레이블이나 지침 없이 데이터에서 학습하는 인공지능 접근 방식입니다. 많은 인공지능 리더들은 비지도 학습(Unsupervised Learning)을 인공 지능의 차세대 위대한 개척자로 보고 있습니다. 인공지능 전설인 얀 르쿤(Yann LeCun)은 “차세대 인공지능 혁명은 지도 학습되지 않을 것입니다.”라고 말했고, UC 버클리 교수인 지텐다 말익(Jitenda Malik)은 이를 더욱 다채롭게 "레이블은 머신 러닝의 연구자들의 아편입니다."라고 표현했습니다.
그렇다면, 비지도 학습은 어떻게 작동합니까? 간단히 말해서, 이 시스템은 그 학습 영역의 다른 부분을 기반으로 그 학습 영역의 일부에 대해서만 학습합니다. 예를 들어, 텍스트의 단어 또는 비디오의 사람들과 같은 엔티티 간의 시스템의 액션, 패턴 및 관계를 관찰함으로써 시스템은 환경에 대한 전반적인 이해를 자기 힘으로 스스로 해 냅니다. 일부 연구자들은 이것을 "다른 모든 것으로부터 모든 것을 예측"하는 문구로 요약합니다.
비지도 학습은 지도 학습의 "훈련 바퀴들(training wheels)"가 필요 없는 개방형 탐색 및 추론을 통해 인간이 세상을 배우는 방식을 더 가깝게 반영합니다. 근본적인 장점들 중 하나는 레이블이 없는 데이터가 항상 한 영역에서 레이블이 지정된 데이터들 보다 훨씬 더 많다는 것입니다.(전자가 훨씬 쉽게 얻을 수 있음).
밀접하게 관련된 용어 "자기 지도 학습(Self-supervised learning)"을 선호하는 르쿤의 말에 따르면 : "자기 지도 학습에서 입력의 일부는 입력의 나머지 부분을 예측하기 위한 지도 신호로 사용됩니다.... 데이터가 무제한이고 각 표본에서 제공하는 피드백의 양이 크기 때문에 [다른 인공지능 패러다임]보다 자기 감독 학습을 통해 영역의 구조에 대한 더 많은 지식을 학습시킬 수 있습니다.
비지도 학습은 이미 자연어 처리에 혁신적인 영향을 미치고 있습니다. 자연어 처리(NLP) 분야에서는 최근 약 3년 전에 구글(Google)에서 시작된 트랜스포머(Transformer)라는 새로운 비지도 학습 아키텍처 덕분에 놀라운 발전을 이루었습니다. (트랜스포머에 대한 자세한 내용은 아래 3번째 장을 참조하십시오.)
비지도 학습을 인공지능의 다른 영역에 적용하려는 노력은 아직 초기 단계이지만 빠른 진전이 이루어지고 있습니다. 한 가지 예를 들어, Helm.ai라는 스타트업은 자율 주행 차 업계의 리더를 도약하기 위해 비지도 학습을 사용하려고 합니다.
많은 연구자들은 비지도 학습을 인간 수준의 인공지능 개발의 핵심으로 보고 있습니다. 르쿤에 따르면 비지도 학습을 마스터하는 것은 "향후 몇 년 동안 머신러닝 및 인공지능 분야에서 가장 큰 도전"입니다.
2. 연합 학습
디지털 시대의 가장 중요한 과제 중 하나는 데이터 프라이버시입니다. 데이터는 현대 인공지능의 생명선이기 때문에 데이터 개인 정보 보호 문제는 인공지능의 궤적에서 중요한 (종종 제한적인) 역할을 합니다.
개인 정보 보호 인공 지능(인공지능 모델이 개인 정보를 손상시키지 않고 데이터셋에서 학습할 수 있게 해주는 방법)은 점점 더 중요한 연구들이 되고 있습니다. 개인 정보 보호의 인공지능에 대한 가장 유망한 접근 방식은 아마도 연합 학습(Federated Learning) 일 것입니다.
연합 학습의 개념은 2017년 초 구글 연구원들에 의해 처음 공식화되었습니다. 지난 1년 동안 연합 학습에 대한 관심이 폭발적으로 증가했습니다. 연합 학습에 관한 연구논문 1천여 편이 2018년 전체 180여 편에 불과한 2020년 첫 6개월간 발간됐습니다.
오늘날 머신러닝 모델을 구축하는 표준 접근 방식은 모든 학습 데이터를 한 곳 (종종 클라우드)에 수집 한 다음 데이터에 대해 모델을 학습시키는 것입니다. 그러나 이러한 접근 방식은 개인 정보 보호 및 보안상의 이유로 중앙 데이터 저장소로 이동할 수 없는 전 세계 데이터의 대부분에 대해 실행 가능하지 않습니다. 이것은 전통적인 인공지능 기술에 제한을 두지 않습니다.
연합 학습은 인공 지능에 대한 기존의 접근 방식을 뒤집어 이 문제를 해결합니다.
통합된 데이터셋이 모델을 훈련시키는 대신, 연합 학습은 데이터를 그대로 두고 엣지(Edge)에 있는 수많은 장치와 서버에 분산됩니다. 또는 그 대신에, 수많은 버전의 모델이 훈련 데이터와 함께 각 장치에 하나씩 전송되고 각 데이터 하위 집합에 대해 로컬로 훈련됩니다. 그런 후, 학습 데이터 자체가 아닌 결과 모델 매개 변수가 클라우드로 다시 전송됩니다. 이러한 모든 "미니 모델"이 집계되면 결과는 전체 데이터셋에서 한 번에 학습된 것처럼 작동하는 하나의 전체 모델입니다.
원래의 연합 학습 사용 사례는 수십억 개의 모바일 장치에 분산된 개인 데이터에 대해 인공지능 모델을 훈련하는 것이었습니다. 연구원들은 다음과 같이 요약했습니다. “최신 모바일 장치는 머신러닝 모델에 적합한 풍부한 데이터에 액세스 할 수 있습니다.... 그러나 이 풍부한 데이터들은 종종 개인 정보에 민감하거나 대량이거나 둘 다 이므로 데이터 센터에 접속(login) 하지 못할 수 있습니다..... 우리는 학습 데이터를 모바일 장치에 배포하고 로컬에서 계산된 업데이트를 집계하여 공유 모델을 학습하는 대안을 찬성합니다. "
더 최근에는 의료 분야(Healthcare)가 연합 학습의 적용을 위한 유망한 분야로 부상했습니다.
그 이유를 쉽게 알 수 있습니다. 한편으로는 의료 분야에서 귀중한 인공지능을 사용하는 사례가 엄청나게 많습니다. 반면에 의료 데이터, 특히 환자의 개인 식별 가능한 정보는 매우 민감합니다. HIPAA와 같은 규제의 덤불들은 사용과 움직임을 제한합니다. 연합 학습은 연구진들이 민감한 건강기록을 원천에서 옮기거나 사생활 침해에 노출되지 않고 생명을 구하는 의료용 인공지능 도구를 개발할 수 있게 해 줍니다.
의료 분야에서 연합 학습을 추구하기 위해 많은 신생 기업이 등장했습니다. 가장 잘 알려진 곳은 파리에 본사를 둔 오킨(Owkin)입니다. 초기 단계의 플레이어로는 Lynx.MD, Ferrum Health 및 Secure AI Labs가 있습니다.
의료 분야 외에도 연합 학습은 금융 서비스에서 자율 주행 차량, 정부 사용 사례에서부터 모든 종류의 소비자 제품에 이르기까지 민감한 데이터를 포함하는 모든 인공지능 애플리케이션의 개발에서 중요한 역할을 할 수 있습니다. 서로 다른 개인 정보 보호 및 유사형(homomorphic) 암호화와 같은 다른 개인 정보 보호 기술과 결합된 연합 학습은 데이터 개인 정보 보호라는 까다로운 문제를 완화하면서 인공지능의 엄청난 잠재력을 발휘할 수 있는 열쇠를 제공할 수 있습니다.
오늘날 전 세계적으로 제정되는 데이터 개인 정보 보호법의 물결(GDPR 및 CCPA부터 시작하여 곧 많은 유사한 법률이 제공될 예정)은 이러한 개인 정보 보호 기술의 필요성을 가속화할 것입니다. 연합 학습이 앞으로 몇 년 동안 인공지능 기술 스택의 중요한 부분이 될 것으로 기대하십시오.
3. 트랜스포머
우리는 자연어 처리의 황금기에 접어들었습니다.
OpenAI가 지금까지 구축한 가장 강력한 언어 모델인 GPT-3 출시는 올여름 기술 세계를 사로잡았습니다. 자연어 처리(NLP)의 새로운 표준을 설정했습니다. 인상적인 시를 작성하고, 작동하는 코드를 생성하고, 사려 깊은 비즈니스 메모를 요약정리하고, 자체에 대한 기사를 작성하는 등의 작업을 할 수 있습니다.
GPT-3은 유사하게 설계된 NLP 모델 (Google의 BERT, OpenAI의 GPT-2, Facebook의 RoBERTa 등) 중에서 NLP에서 가능한 것을 재정의하는 최신(최대) 모델입니다.
언어 인공지능(AI)의 이 혁명의 기반이 되는 핵심 기술 혁신은 바로 트랜스포머(Transformer)입니다.
트랜스포머는 2017년 획기적인 연구 논문에서 소개되었습니다. 이전에는 최첨단 자연어 처리(NLP) 방법들이 모두 순환 신경망(예: LSTM)을 기반으로 했습니다. 정의에 따라 순환 신경망(Recurrent Neural Network)은 데이터를 순차적으로, 즉 단어가 나타나는 순서대로 한 번에 한 단어 씩 처리합니다.
트랜스포머의 뛰어난 혁신은 언어 처리를 병렬화하는 것입니다. 주어진 텍스트 본문의 모든 토큰은 순서가 아닌 동시에 분석됩니다. 이 병렬화를 지원하기 위해 트랜스포머는 어텐션(attention)이라는 인공지능 메커니즘에 크게 의존합니다. 어텐션을 사용하면 모델이 단어가 얼마나 떨어져 있는지에 관계없이 단어 간의 관계를 고려하고 "주의를 기울이는"데 가장 중요한 구절의 단어와 구문을 결정할 수 있습니다.
병렬화가 그토록 가치 있는 이유는 무엇입니까? 트랜스포머를 RNN보다 훨씬 더 계산적으로 효율적으로 만들기 때문에 훨씬 더 큰 데이터셋에서 학습할 수 있습니다. GPT-3은 약 5천억 단어들로 훈련되었으며 1,750억 개의 매개 변수로 구성되어 존재하는 모든 RNN 성장을 축소시켜 줍니다.
트랜스포머는 GPT-3과 같은 모델의 성공 덕분에 현재까지 거의 독점적으로 자연어 처리(NLP)와 관련이 있었습니다. 그러나 이번 달에 트랜스포머를 컴퓨터 비전에 성공적으로 적용한 신경지를 개척한 새로운 논문이 발표되었습니다. 많은 AI 연구원들은 이 작업이 컴퓨터 비전의 새로운 시대를 예고할 수 있다고 믿습니다. (저명한 머신러닝 연구원인 오리올 비날알리스(Oriol Vinyals)가 간단히 말했듯이, "저의 견해는 콘볼루션들(convolutions)과의 작별 인사를 하는 것입니다.")
Google 및 Facebook과 같은 선도적인 인공지능 기업이 트랜스포머 기반 모델을 생산에 투입하기 시작했지만 대부분의 조직은 이 기술을 생산하고 상용화하는 초기 단계에 있습니다. OpenAI는 GPT-3을 API를 통해 상업적으로 접근하여 사용할 수 있도록 계획을 발표했으며, 이를 통해 애플리케이션을 구축하는 스타트업 생태계 전체를 씨앗을 뿌릴 수 있게 되었습니다.
트랜스포머가 자연어를 시작으로 앞으로 몇 년 동안 완전히 새로운 세대의 인공지능 기능의 기반이 될 것으로 기대합니다. 지난 10년 동안 인공 지능 분야에서 흥미진진한 경험이 있었지만, 앞으로 10 년의 전주곡 일 뿐입니다.
이 기사 시리즈의 두 번째 부분은 여기를 참조하십시오.
The Next Generation Of Artificial Intelligence by Forbes 원본 링크: https://www.forbes.com/sites/robtoews/2020/10/12/the-next-generation-of-artificial-intelligence/?sh=2c7a2a0559eb
MIT 테크놀로지 리뷰의 제프리 힌튼의 인터뷰(한글): https://brunch.co.kr/@synabreu/99
The inside story of how AI got good enough to dominate Silicon Valley by QZ.com 기사(영문): https://qz.com/1307091/the-inside-story-of-how-ai-got-good-enough-to-dominate-silicon-valley/
AI is Learning From Humans. Many Humans by NYTimes - 기사(영문): https://www.nytimes.com/2019/08/16/technology/ai-humans.html
Yann LeCum's Facebook Timeline(Apr 30, 2019): https://www.facebook.com/yann.lecun/posts/10155934004262143
Attention Is All You Need 논문(영문): https://arxiv.org/pdf/1706.03762.pdf
Helm.ai raises $13M on its unsupervised learning approach to driverless car AI by TechCrunch 기사(영문): https://techcrunch.com/2020/03/25/helm-ai-raises-13m-on-its-unsupervised-learning-approach-to-driverless-car-ai/?guccounter=1
Communication-Efficient Learning of Deep Networks from Decentralized Data 논문(영문): https://arxiv.org/pdf/1602.05629v3.pdf
Multi-institutional Deep Learning Modeling Without Sharing Patient Data: A Feasibility Study on Brain Tumor Segmentation 논문(영문): https://link.springer.com/chapter/10.1007/978-3-030-11723-8_9
These Are The Startups Applying AI To Transform Healthcare by Forbes 기사 (영문): https://www.forbes.com/sites/robtoews/2020/08/26/ai-will-revolutionize-healthcare-the-transformation-has-already-begun/?sh=13cd533a722f
GPT-3 CREATIVE FICTION 웹사이트: https://www.gwern.net/GPT-3
GPT-3 Code Generator 트위터: https://twitter.com/sharifshameem/status/1282676454690451457?s=20
GPT-3 Business Memo Composer: https://twitter.com/zebulgar/status/1283927560435326976?s=20
GPT-3 Article Writer: https://maraoz.com/2020/07/18/openai-gpt3/
An Image Is Worth 16x17 Words: Transformers For Image Recognition At Scale 논문: https://openreview.net/pdf?id=YicbFdNTTy
Vision Transformer(ViT) 아키텍처 트위터: https://twitter.com/OriolVinyalsML/status/1312404990871375873
