긴 겨울을 버텨온 학자들이 가져온 봄
뉴욕, 벨 연구소.
얀 르쿤(Yann LeCun). 프랑스 출신 연구자. 힌튼의 제자.
그는 새로운 것을 시도했다.
합성곱 신경망 (Convolutional Neural Network, CNN)
사람이 사진을 볼 때처럼, 부분부터 보고 합쳐서 전체를 이해하는 방식이다. 이것은 뇌의 시각 피질이 형태를 인식하는 방식을 모방한 것이다.
시각 피질은 객체를 인식할 때 계층적이다.
첫 층: 에지 감지,
둘째 층: 간단한 형태,
셋째 층: 복잡한 패턴,
마지막: 객체 인식
벨 연구소가 관심을 보였다.
"이걸 실제로 쓸 수 있겠군."
1990년대 초, 은행들이 사용하기 시작했다.
수표의 금액을 자동으로 읽는다.
작동했다. 실제로. 돈도 벌었다.
하지만 AI 커뮤니티는? 여전히 무관심.
"신경망은 장난감이야."
"실제 AI는 기호 처리야."
르쿤은 개의치 않았다.
1990년대, 조용한 진전
AI 겨울 동안, 신경망 연구자들은 조용히 자기 작업에 집중했다.
주목 받지 않았지만 꾸준히.
1995년, SVM
블라디미르 밥닉(Vladimir Vapnik), AT&T.
Support Vector Machine (SVM)
강력한 분류 알고리즘. 하지만 "AI"라고 부르지 않았다.
"통계적 학습(Statistical Learning)"
"기계 학습(Machine Learning)"
AI라는 단어만 피하면, 연구비를 받을 수 있었다.
1997년, LSTM
세프 호크라이터(Sepp Hochreiter), 위르겐 슈미트후버(Jürgen Schmidhuber)
Long Short-Term Memory (LSTM)
순환 신경망(RNN)의 개선. 긴 시퀀스를 학습할 수 있게.
나중에 음성 인식, 기계 번역에 핵심이 되는 기술. 하지만 1997년엔 아무도 주목하지 않았다.
모두 중요한 발전이었다. 하지만 조건이 아직 이르지 못했다.
컴퓨터가 충분히 빠르지 않았고, 데이터가 충분하지 않았다.
그리고 무엇보다, AI 겨울이었다.
아무도 듣고 있지 않는 듯 했다.
1997년 5월 11일. 뉴욕.
IBM 딥블루 vs 가리 카스파로프(Garry Kasparov). 세계 체스 챔피언.
6게임 시리즈 최종전.
카스파로프가 말을 움직였다.
딥블루가 생각했다. 초당 2억 수 계산.
30초 후, 딥블루가 수를 뒀다.
카스파로프의 얼굴이 굳었다.
15수 후. 카스파로프가 킹을 쓰러뜨렸다.
항복.
딥블루 승리. 2승3무1패
역사적 순간!
1950년대부터의 꿈. 클로드 섀넌, 앨런 튜링이 생각했던 것.
47년 만에 달성.
언론이 열광했다.
"컴퓨터가 인간을 이겼다!""AI의 승리!"
하지만 AI 커뮤니티 반응은? 여전히 냉소적이었다.
"그건 AI가 아니야."
"그냥 brute force야. 초당 2억 수 계산."
단순하게 모든 경우의 수를 일일이 대입해서 해결하는 단순한 방법 취급.
"힘으로 밀어붙인 거지."
"체스 규칙도 이해 못 해. 전략도 몰라. 그냥 모든 경우를 계산할 뿐."
역설이었다.
1960년대만 해도 "체스를 정복하면 AI 달성!"이라고 외치더니 1997년에는
"체스? 그건 그냥 계산이지, 진짜 지능 아니야."라고 무시하다니.
목표선이 계속 뒤로 물러났다. AI의 정의가 바뀌었다.
"AI는 아직 이루지 못한 것"
2000년대 초반. "AI"는 여전히 저주가 풀리지 않은 숲속의 공주.
하지만 "기계 학습(Machine Learning)"은 달랐다.
통계학 + 컴퓨터 과학.
그리고 작동했다.
Google: PageRank (기계 학습)
Amazon: 추천 시스템 (기계 학습)
Netflix: 영화 추천 (기계 학습)
아무도 "AI"라고 부르지 않았다. 하지만 AI 기술은 조용히 일상에 스며들고 있었다.
2006년, 힌튼의 돌파구
토론토 대학. 제프리 힌튼, 이제 59세.
30년을 신경망에 바쳤다. 2006년, 그는 문제를 풀었다. 깊은 신경망을 학습시키는 법.
논문 "A Fast Learning Algorithm for Deep Belief Nets"를 발표했다.
역시 세계적인 권위지인 Science 게재. 2006년 7월.
층별 사전학습 (Layer-wise Pre-training)
한 번에 모든 층을 학습시키지 말고, 한 층씩, 차례로. 마치 건물을 짓듯이.
1층 완성 → 2층 올리기 → 3층...
작동했다. 깊은 신경망이 실제로 학습했다. 안정적으로.
하지만 여전히 주류는 아니었다.
"또 신경망...", "컴퓨터가 아직 안 빨라.", "데이터 부족해."
맞는 말이었다. 아직은…
하지만 씨앗은 뿌려졌다.
스탠퍼드 대학. 페이페이 리(Fei-Fei Li) 교수. 컴퓨터 비전 전공.
당시 컴퓨터 비전 학계의 상황은 알고리즘 경쟁이었다.
"나는 SIFT를 개선했다."
"나는 HOG가 더 낫다."
"Bag of Words가 답이다."
모두 엔지니어가 직접 설계한 규칙들.
"에지를 찾아라"
"색상 히스토그램을 만들어라"
"텍스처를 분석해라"
그리고 같은 작은 데이터셋으로 테스트.
Caltech-101: 9,000장
PASCAL VOC: 수천 장
작은 데이터. 깨끗한 이미지. 통제된 환경.
페이페이는 뭔가 잘못됐다고 느꼈다.
2007년, 프린스턴. 그녀는 인지과학 교수 한 명과 점심을 먹고 있었다.
"아이들이 어떻게 배우는지 아세요?"
교수가 답했다.
"보는 거죠. 엄청나게 많이. 매일, 수천 개의 이미지를."
"고양이 한 번 보고 배우나요?"
"아니요. 수백 번, 수천 번. 여러 각도에서. 여러 상황에서."
페이페이가 멈췄다.
"그런데 우리는... AI를 9,000장으로 학습시키고 있어요."
침묵.
"그게 문제예요."
실험실로 돌아와서 계산했다. 심리학 연구에 따르면 3살 아이는 이미 수백만 개의 물체를 봤다. 고양이만 수천 번. 개만 수천 번. 자동차, 나무, 사람...
"우리에게도 그런 데이터가 필요해."
하지만 누가 만들 거지?
2007년, 그녀는 프로젝트를 시작했다. 이름은 ImageNet
목표가 미쳤다.
"세상의 모든 물체를 사진으로."
WordNet이라는 영어 단어 데이터베이스가 있었다. 명사만 22,000개.
"이 단어 하나하나에 사진 1,000장씩."
22,000 × 1,000 = 2,200만 장. 미쳤다. 말도 안 된다.
학생들이 물었다.
"교수님, 어떻게요?"
"인터넷에서 찾자."
2007년부터 웹 크롤링 시작.
Google Images, Flickr... 수억 장 다운로드. 하지만 문제가 있었다. 이미지 하나하나를 사람이 확인해야 한다.
"이게 정말 고양이 맞나?"
"이건 개 아니야?"
누가 2천만 장을 확인하지?
2008년, 해법 발견.
Amazon Mechanical Turk. 크라우드소싱 플랫폼. 전 세계 사람들에게 조금씩 일을 나눠줄 수 있다.
작업 하나: "이 10개 이미지 중 고양이는?" → 1센트 지급.
간단하다. 누구나 할 수 있다. 하지만 규모는? 2,200만 장 × 여러 번 검증 = 수억 건의 작업.
페이페이의 연구실. 학생들이 매일 Mechanical Turk 결과를 확인했다. 2007년 2008년 2009년 2년 반. 돈도 문제였다. 연구비로는 부족했다. 페이페이가 여기저기 발표하러 다녔다.
"데이터가 미래입니다." 대부분 회의적이었다.
"알고리즘이 중요하지, 데이터가 뭐가 중요해?" 하지만 몇몇은 믿었다. 지원했다. 2009년 봄. 드디어 완성.
ImageNet 1.0 - 1,400만 장의 이미지 - 20,000개 카테고리 - 모두 손으로 라벨링. 역사상 가장 큰 이미지 데이터셋. 하지만 만들기만 해서는 의미가 없다. 사람들이 써야 한다. 그래서 대회를 만들었다.
ImageNet Large Scale Visual Recognition Challenge (ILSVRC)
규칙:
- 1,000개 카테고리
- 120만 장 훈련 이미지
- 누가 가장 정확하게 분류하나?
우승팀 오류율: 28%
전통적 컴퓨터 비전. SIFT, HOG, 엔지니어들이 직접 만든 피쳐들. 신경망? 아무도 안 썼다. 아직 때가 아니었다. 데이터는 이제 준비되었다. ImageNet. 하지만 컴퓨팅 파워가 부족했다.
2010년, 겨울의 끝
2010년 무렵. 조건들이 갖춰졌다.
빅데이터
인터넷, 소셜 미디어, 디지털 카메라
ImageNet 같은 대규모 데이터셋
컴퓨팅 파워
GPU의 발전
NVIDIA CUDA (2006년 발표)
GPU로 범용 계산 가능
알고리즘
백프로파게이션 (1986)
CNN (르쿤, 1989)
사전학습 (힌튼, 2006)
LSTM (호크라이터&슈미트후버, 1997)
인재
겨울을 견뎌낸 연구자들. 힌튼, 르쿤, 벤지오...
그들의 제자들, 새로운 세대
모든 것이 준비되었다.
폭발을 위해.
승종은 논문을 덮었다.
"AI의 겨울: 1987-2010"
창밖을 보았다. 서울의 가을. 단풍.
겨울이 꼭 나쁜 것만은 아니었다는 생각이 들었다. 과대 광고가 사라지고, 투기꾼들이 떠났다. 그리고는 진짜 문제가 드러났다. 그리고 진지한 연구자들이 해결책을 찾기 위해 인생을 걸었다.
기호주의의 실패가 신경망으로, 전문가 시스템의 한계가 기계 학습으로, 그리고 LISP 머신의 몰락이 범용 컴퓨팅으로.
"실패는 결국 배움이었군."
승종은 중얼거렸다.
그리고 가장 중요한 교훈.
고집.
힌튼, 르쿤, 벤지오.
모두가 포기할 때, 그들은 계속했다.
모두가 비웃을 때, 그들은 믿었다.
그래서 드디어 봄이 왔다.
승종은 다음 논문을 펼쳤다.
"2012: AlexNet과 딥러닝 혁명"
이야기는 계속된다.
겨울이 끝났다.
봄이 온다.