너무나 혹독한 겨울이었다
1988년, 몰락의 가속화
검은 월요일 이후 1년.
상황은 나아지지 않았다. 오히려 악화되었다.
매사추세츠, 케임브리지. Symbolics 본사. CEO가 분기 실적을 발표하고 있었다.
"매출이 전년 대비 40% 감소했습니다."
이사회가 조용했다. 충격이 아니라 체념이었다.
"Sun 워크스테이션에 고객을 빼앗겼습니다. 그리고.."
그가 잠시 멈췄다.
"AI 시장 자체가 무너지고 있습니다."
주가는 계속 떨어졌다. 1987년: $30, 1988년: $15, 1989년: $8, 1990년: $3
1990년, 대규모 정리해고. 직원 1,000명 중 절반을 내보냈다.
1993년, 파산 보호 신청. 한때 AI 붐의 상징이었던 회사가 무너졌다.
경쟁사였던 LISP Machines Inc. (LMI)도 비슷한 상황이었다. 1988년에 문을 닫았다.
조용히. 아무도 주목하지 않게 Texas Instruments도 LISP 머신 사업에서 철수했다.
1989년 LISP 머신 시장이 사라졌다. 완전히.
전문가 시스템 회사들의 몰락
전문가 시스템 시대를 상징하던 Teknowledge는 1988년 주가가 폭락했다.
InteliCorp도 대규모 정리해고를 단행했다. 한때 수백 개였던 AI 컨설팅 회사들이 1990년까지
대부분 사라졌다. 살아남은 회사들은 "AI"를 버렸다. 이름을 바꿨다. 사업을 바꿨다.
"지식 관리",
"비즈니스 인텔리전스",
"의사결정 지원 시스템"
무엇이든. AI만 아니면.
1991년, 일본의 실패
10년간의 노력. 8억 5천만 달러. 수백 명의 최고 연구자.
도쿄, ICOT 연구소. 제5세대 컴퓨터 프로젝트 중간 평가 회의.
프로젝트 책임자 후치 카즈히로(Kazuhiro Fuchi)가 단상에 섰다.
"목표 달성도를 보고하겠습니다."
화면에 표가 나타났다.
목표 달성도
자연어 대화 실패
시각 인식 부분적 성공
음성 인식 부분적 성공
지식 추론 제한적 성공
병렬 처리 부분적 성공
회의실이 무거웠다.
후치가 천천히 말했다.
"10년 전 우리는 너무 대담하다는 비판을 받았습니다."
그가 잠시 멈췄다.
"지금 우리는 안팎에서 비판을 받습니다. 왜냐하면 우리가 그 장대한 목표를 달성하지 못했기
때문입니다."
New York Times가 기사를 실었다. 1992년 6월 5일.
"'Fifth Generation' Became Japan's Lost Generation"
부제: "After spending $400 milion, Japan is wiling to give away the software"
일본 언론이 더 혹독했다.
"8억 달러 낭비"
,
"일본의 잃어버린 세대"
"MITI의 실패"
1992년, 프로젝트는 조용히 종료되었다. 소프트웨어를 무료로 공개했다. 외국인에게도.
한때 "경제 전쟁"의 무기로 여겨졌던 것을.
일본도 AI 겨울에 들어갔다
.
1993년, 가장 추운 겨울
1993년 무렵, AI는 거의 죽은 것처럼 보였다.
AI 연구의 메카 중 하나인 카네기-멜론 대학의 AI 전공 박사과정 지원자 수가 1985년 120명에서
1990년 80명, 1993년 35명.
언론이 AI를 조롱했다.
"또 다시 실패한 약속"
,
"AI: 영원한 미래 기술"
,
"20년째 '10년 후면 된다'고 말하는 분야"
AI는 실패의 상징이 되었다. 과대 광고의 전형. 배워야 할 교훈.
"AI처럼 되지 말자."
하지만 몇몇은 남았다
겨울 속에서도, 몇몇은 계속했다.
조용히. 눈에 띄지 않게.그들은 다른 길을 가고 있었다.
기호주의 AI가 아니라. 전문가 시스템이 아니라.
신경망…
1969년으로 돌아가서 - 민스키의 저주
신경망이란 뇌의 뉴런을 모방한 학습 구조이다. 규칙을 입력하는 대신 데이터로부터 스스로
배운다. 1960년대에 한차례 인공지능 분야의 희망으로 떠올랐다가 사라진 접근법. 왜 사라졌는가?
1969년, 한권의 책 때문이었다.
마빈 민스키와 시모어 패퍼트는 한권의 책을 내놓는다.
"Perceptrons"
퍼셉트론은 1957년 프랭크 로젠블라트가 개발한 인공 신경망이었다. 지금의 딥러닝의
할아버지라고 할 수 있다. 마빈 민스키는 브롱스 과학고등학교 동창인 로젠블라트의 퍼셉트론을
공격하는 책을 발표하고 말았던 것이다.
그들은 수학적으로 증명했다.
"단층 퍼셉트론은 XOR 문제를 표현할 수 없다."
학습의 문제가 아니다. 구조의 문제다.
XOR이란 무엇인가?
XOR. "exclusive OR" - 배타적 OR.
간단한 논리 함수다.
두 입력이 다르면 → 참 (1), 두 입력이 같으면 → 거짓 (0)
예시:
0, 0 → 0 (같음)
0, 1 → 1 (다름)
1, 0 → 1 (다름)
1, 1 → 0 (같음)
초등학생도 이해한다. 하지만 단층 신경망으로는 이것을 만들 수 없다. 왜? 단층 신경망은 직선
하나로 세상을 나눈다.
"이쪽은 1, 저쪽은 0"
하지만 XOR의 네 점을 2차원 평면에 놓으면?
(0,1) → 1 (1,1) → 0
(0,0) → 0 (1,0) → 1
대각선으로 흩어져 있다.
직선 하나로는 1과 0을 구분할 수 없다. 아무리 학습시켜도. 가중치를 어떻게 조정해도.
구조 자체가 불가능하다.
민스키의 증명이 신경망 연구를 15년간 얼렸다.
"신경망은 단순한 것만 배운다.",
"복잡한 지능은 불가능하다.",
하지만 해법이 있었다.
층을 더 쌓으면 된다.
다층 신경망은 선을 여러 개 그을 수 있다. 곡선도, XOR도 표현할 수 있다.
문제는 "어떻게 학습시키느냐"였다.
중간 층의 가중치를 어떻게 조정할까? 정답을 모르는데?
20년간 아무도 몰랐다.
"전문가 시스템이 답이다."
1986년, 백프로파게이션의 재발견
1986년, 세 명의 연구자가 논문을 발표했다.
데이비드 루멜하트 (캘리포니아 샌디에이고), 제프리 힌튼 (토론토), 로널드 윌리엄스 (캘리포니아
샌디에이고)
"Learning Representations by Back-Propagating Errors"
세계 최고의 학술지인 Nature 저널에 1986년 9월 실렸다.
백프로파게이션 (Backpropagation)은 다층 신경망을 학습시키는 방법이다. 쉽게 말하면 신경망이
잘못된 답을 내놓았을 때 누구의 잘못인지 끝에서부터 거꾸로 따져서 각자 책임을 진 만큼
고치게 하는 방법이다. 책임 추궁을 거꾸로.
민스키가 맞았다. 단층신경망은 XOR을 표현 못 한다. 하지만 다층은? 표현할 수 있다. 그리고
이제 학습시킬 수도 있다.
하지만 1980년대 후반, 아무도 관심 없었다
AI 겨울이었다.
신경망?
"그건 1960년대에 실패한 거 아니었나?"
"민스키가 증명했잖아."
"지금은 전문가 시스템 시대야. 아, 그것도 끝났지만."
투자? 없다. 연구비? 거의 없다. 학생? 안 온다. 관심? 전혀.
하지만 힌튼은 포기하지 않았다.
캐나다는 미국만큼 AI 열풍도, 겨울도 심하지 않았다.
제프리 힌튼. 토론토 대학 교수. 작은 연구실. 몇 명의 학생들. 적은 연구비.
하지만 믿음이 있었다. 그는 학생들에게 말했다.
"뇌를 보세요. 뉴런들이 층층이 연결되어 있습니다."
"시각 피질, 청각 피질.. 모두 계층 구조입니다."
"만약 뇌가 이렇게 작동한다면, 우리도 같은 구조를 만들 수 있어야 합니다."
학생 하나가 물었다.
"하지만 교수님, 아무도 관심 없어요"
힌튼이 웃었다. "나도 알아. 하지만 이게 맞는 길이야."
"모두가 전문가 시스템 할 때, 우리는 신경망을 했어."
"모두가 포기할 때, 우리는 계속해."
"10년 후, 20년 후를 봐."
그는 그렇게 30년을 버텼다.
1980년대, 전문가 시스템 붐 때도 신경망, 1990년대, AI 겨울 때도 신경망, 2000년대, 모두가
다른 일 할 때도 신경망. 고집이었을까? 믿음이었을까?
아마 둘 다.
역사적 주석
Symbolics의 몰락: 1987년 주가 $30에서 1990년 $3로 폭락. 1990년 대규모 정리해고, 1993년
파산 보호신청. LISP 머신 시장의 붕괴를 상징.
LMI (LISP Machines Inc.): Symbolics의 경쟁사. 1988년 폐업. Texas Instruments도 1989년
LISP 머신 사업 철수.
일본 제5세대 프로젝트 종료: 1992년 종료. New York Times는 "Fifth Generation Became
Japan's Lost Generation"이라는 제목으로 보도. 개발된 소프트웨어를 무료로 공개.
1993년 AI 겨울: 대학 AI 프로그램 축소, 지원자 감소, 연구비 삭감. "AI"라는 단어가 이력서와
연구 제안서에서 사라짐.
백프로파게이션 (1986): 루멜하트, 힌튼, 윌리엄스의 Nature 논문. 다층 신경망 학습의 핵심.
하지만 1980년대 후반 AI 겨울로 주목받지 못함.
XOR 문제: 민스키와 패퍼트의 "Perceptrons" (1969)에서 증명. 단층 퍼셉트론은 XOR 함수를
표현할 수 없음. 하지만 다층 신경망은 가능.
제프리 힌튼 (1947-): 30년간 신경망 연구. AI 겨울 동안에도 포기하지 않음. 2006년 심층
신경망 사전학습 방법 개발. 2024년 노벨상 수상.