딥러닝은 모든 것을 할 수 있다.
MIT Technology Review 지의 제프리 힌튼 인터뷰
며칠 전 MIT 테크놀로지 리뷰지의 제프리 힌튼 인터뷰가 실려서 간단하게 번역해 보았습니다. 글을 읽기 전에 한 가지 유념해 주실 것은 이 글 원본에 대한 저의 번역에 대하여 잡지사 측으로부터 허락받지 않고 게재합니다. 그러므로 이 글에 대해 저작권과 번역권을 저는 가질 수 없습니다.
또한 국내에 정식 저작권과 허락권을 가지고 MIT 테크놀로지 리뷰지가 발매될 것으로 알고 있고 준비 중에 있습니다. 만일 그분들이 권리를 주장한다면 이 글을 내릴 수도 있습니다. 끝으로 이 글에 대해 어떠한 상용이나 기업 내부의 자료에 사용할 수 없고 읽어 보시기만 권장드립니다.
AI 개척자 제프리 힌튼: “딥 러닝은 모든 것을 할 수 있을 것입니다.”
30 년 전, 힌튼의 신경망에 대한 믿음은 반대 의견을 가졌습니다. 이제 그것에 대해 동의하지 않는 사람들을 찾기가 어렵다고 그는 말합니다.
AI 분야의 격차에 대해 : "개념적으로 획기적 발전들이 상당히 많을 것입니다. 또한 우리는 대규모 확장이 필요합니다."
신경망의 약점 : "신경망은 엄청나게 많은 매개 변수를 사용하여 다소 적은 양의 데이터를 처리하는 데 놀랍게도 능숙하지만 인간들이 훨씬 더 뛰어납니다."
우리의 두뇌가 작동하는 방식에 대해 : "뇌 내부에는 이러한 신경 활동의 커다란 벡터들이 있습니다."
현대 AI 혁명은 하나의 모호한 연구 경진 대회를 개최하는 동안 시작되었습니다.
동물에서 풍경, 사람에 이르기까지 1,000 개의 물체를 인식하는 컴퓨터 비전 시스템을 구축하기 위해 팀들이 도전하는 연례 이미지넷(ImageNet) 경진 대회의 세 번째 해인 2012 년이었습니다.
처음 2년 동안 최고의 팀은 75 % 의 정확도도 달성하지 못했습니다. 그러나 세 번째에서는 교수와 그의 학생 세 명의 연구원들이 갑자기 과거의 천장을 넘어섰습니다. 그들은 10.8 % 포인트로 경쟁에서 이겼습니다. 그 교수는 제프리 힌튼(Geoffrey Hinton)이었고 그들이 사용한 기술을 딥 러닝이라고 불렀습니다.
힌튼(Hinton)은 실제로 1980 년대부터 딥 러닝 작업을 해왔지만 그 효과는 데이터와 계산 능력이 부족하여 제한되었습니다. 기술에 대한 그의 확고한 믿음은 궁극적으로 막대한 배당금을 지불했습니다. 이미지넷(ImageNet) 대회 4년 차에는 거의 모든 팀들이 딥 러닝을 사용하고 기적적인 정확도 향상을 달성했습니다. 머지않아 이미지 인식을 넘어 광범위한 산업 분야에서도 충분한 딥 러닝이 작업에 적용되었습니다.
작년에 힌튼은 이 분야에 대한 그의 기본 공헌으로 다른 AI 개척자 얀 르쿤(Yann LeCun) 및 요시아 벤지오(Yoshua Bengio)와 함께 튜링 어워드(Turing Award)를 수상했습니다. 10월 20일, 저는 MIT Technology Review의 연례 EmTech MIT 콘퍼런스에서 그 분야의 상황과 그가 다음으로 향해야 한다고 생각하는 부분에 대해 그와 이야기했습니다.
다음은 명확하게 위해 그의 글을 축약 및 편집했습니다.
당신은 딥 러닝이 모든 인간 지능을 복제하기에 충분할 것이라고 생각합니다. 왜 그렇게 확신합니까?
저는 딥 러닝이 모든 것을 할 수 있을 것이라고 믿지만 개념적으로 획기적 발전들이 꽤 많이 있어야 한다고 생각합니다. 예를 들어, 2017년 애쉬스 바스와니(Ashish Vaswani)와 공동 논문 저작으로 단어 의미를 나타내는 정말 좋은 벡터를 도출하는 트랜스포머(Transformer)를 도입했습니다. 그것은 개념적으로 획기적인 발전이었습니다. 이제 거의 모든 최고의 자연어 처리에 사용되고 있고, 우리는 이와 같은 더 많은 획기적인 발전들이 필요할 것입니다.
그리고 그러한 개념적으로 획기적인 발전들이 있다면 딥 러닝을 통해 인간의 모든 지능에 근접할 수 있을까요?
예, 그렇습니다. 특히 추리력과 같은 것들을 구현하기 위해 신경 활동의 큰 벡터를 얻는 방법과 관련된 획기적인 발전을 말합니다. 그러나 우리는 또한 엄청난 규모의 확장이 필요합니다. 인간의 뇌에는 약 100 조 개의 매개 변수 또는 시냅스가 있습니다. 우리가 지금 GPT-3과 같은 정말 큰 모델이라고 부르는 것은 1,750 억입니다. 뇌보다 천 배나 작습니다. GPT-3는 이제 꽤 그럴 듯 해 보이는 텍스트를 생성할 수 있지만 인간의 뇌에 비해 여전히 작습니다.
규모라고 할 때 더 큰 신경망, 더 많은 데이터 또는 둘 다를 의미합니까?
둘 다 모두입니다. 컴퓨터 과학에서 일어나는 일과 사람들에게 일어나는 일 사이에는 일종의 불일치가 있습니다. 사람들은 얻고 있는 데이터의 양에 비해 엄청난 양의 매개 변수를 가지고 있습니다. 신경망은 엄청난 수의 매개 변수를 사용하여 다소 적은 양의 데이터를 처리하는 데 놀랍게도 뛰어나지만 인간은 훨씬 더 뛰어납니다.
현장의 많은 사람들은 일반적인 상식이 다음으로 해결해야 할 큰 능력이라고 믿습니다. 동의하십니까?
그게 매우 중요한 일이라는 데 동의합니다. 나는 또한 운동 제어가 매우 중요하다고 생각하며 이제 심층 신경망이 그것을 잘하고 있습니다. 특히 최근 Google의 일부 연구에 따르면 미세한 운동 제어를 할 수 있고 이를 언어와 결합하여 서랍을 열고 블록을 꺼낼 수 있으며 시스템이 수행 중인 작업을 자연어로 알려줄 수 있습니다.
이 멋진 텍스트를 생성하는 GPT-3와 같은 경우, 해당 텍스트를 생성하려면 많은 것을 이해해야 하지만, 얼마나 이해하는지는 분명하지 않습니다. 그런데 뭔가 서랍을 열고 블록을 꺼내서 “그냥 서랍을 열고 블록을 꺼냈다”라고 하면, 무슨 일인지 이해가 안 된다고 말하기 어렵습니다.
인공 지능 분야는 항상 인간의 뇌를 가장 큰 영감의 원천으로 보았고 인공 지능에 대한 다른 접근법은 인지 과학의 다른 이론에서 비롯된 것입니다. 뇌가 실제로 그것을 이해하기 위해 외부 세계의 표현을 만든다고 믿습니까? 아니면 그것이 단지 그것에 대해 생각하는 유용한 방법입니까?
오래전에 인지 과학에서 두 사상가 사이에 논쟁이 있었습니다. 하나는 스티븐 코슬린이 이끌었고, 그는 당신이 마음속에 시각적 이미지를 조작할 때, 당신이 가지고 있는 것은 픽셀의 배열이며, 그것을 움직이고 있다고 믿었습니다. 다른 사상가들은 전통적인 인공지능과 더 일치했습니다. “아니, 아니, 그건 말도 안 돼요. 계층적이고 구조적인 설명이에요. 마음속에 상징적인 구조가 있고, 그것을 바로 조작하는 것입니다. "
두 사람 다 같은 실수를 한 것 같아요. 코슬린은 외부 이미지가 픽셀로 만들어져서 픽셀을 조작했다고 생각했고, 그것이 우리가 이해하는 표현(representation)입니다. 우리가 상징(symbol)을 조작했다고 생각하는 상징들은 우리가 상징으로 표현하기 때문에 그것이 우리가 이해하는 표현입니다. 나는 그것들이 잘못되었다고 생각합니다. 뇌 안에 있는 것은 그러한 신경 활동의 큰 벡터들이기 때문입니다.
상징적인 표현이 인공 지능의 접근법 중 하나라고 믿는 사람들이 있습니다.
물론이죠. 나는 헥터 레베스크와 같은 좋은 친구들을 가지고 있습니다. 그는 정말 상징적인 접근 방식을 믿었고, 그 안에서 훌륭한 일을 했습니다. 나는 그의 의견에 동의하지 않지만 상징적인 접근 방식은 시도하기에 완벽하게 합리적입니다. 하지만 결국에는 외부 세계에 상징이 존재하고, 큰 벡터에 대한 내부 작업을 하고 있다는 것을 깨닫게 될 것입니다.
AI의 미래에 대한 가장 반대되는 견해는 무엇입니까?
제 문제는 이런 반대의견을 가지고 있다는 겁니다. 그리고 5년 후면 주류라는 겁니다. 1980년대의 제 반대는 이제 널리 받아들여지고 있습니다. 이제 그들과 의견이 다른 사람들을 찾기가 상당히 어렵습니다. 그래서 반대 의견에 대해서 다소 서서히 쇠퇴되어 왔다고 생각합니다.
[그림1] 제프리 힌튼 교수의 사진* 저의 의견: 간단히 번역을 하면서 인간의 뇌에 수 많은 벡터 공간이 있고 이를 수 조개의 매개 변수들로 처리한다는 표현이 너무 재미있었고, 딥 러닝이 모든 분야에 사용될 것이라는 제프리 힌튼 교수의 전적으로 동의하고 5년 후에 주류가 될 것이라고 예측했지만 지금의 GPT-3 나 테슬라의 오토파일럿에 사용한 딥 러닝을 보면 지금 이 순간에도 이미 딥러닝은 모든 산업 분야의 주류가 되었다고 저는 생각합니다.
원본 링크(영문): https://www.technologyreview.com/2020/11/03/1011616/ai-godfather-geoffrey-hinton-deep-learning-will-do-everything/?fbclid=IwAR2ek160MaZWKXuYhO5e8l4HfFwb000NOOG4j3qd9CBpvZnL1gFa9aiDLCk
The technology behind OpenAI’s fiction-writing, fake-news-spewing AI, explained 기사: https://www.technologyreview.com/2019/02/16/66080/ai-natural-language-processing-explained/
Attention Is All YouNeed 논문: https://arxiv.org/pdf/1706.03762.pdf
