머신러닝 트레이닝하는 것이 문제가 된다

그동안 컴퓨팅 산업에서 숫자를 모으는 것은 늘 비싸지 않다고 가정했었습니다. 간단한 AI 애플리케이션에서 컴 퓨터를 학습시키는 비용은 떨어질 것이다 라고 스탠퍼드 대학의 AI 랩의 디렉터는 인터뷰했습니다. 하지만 모든 곳에서 그건 사실이 아닙니다. 

복잡도가 증가하고 경쟁이 증가하면서 비용은 급격히 증 가했습니다. 마닝 박사는 2018년에 구글이 만든 BERT는 AI 언어를 예시로 가져와봤습니다. 그 언어는 3억 5천만 개의 내부 파라미터를 가지고 있고, 데이터에 대한 식 욕이 엄청납니다. 위키피디아의 33억 개의 단어를 사용해서 BERT는 트레 이닝 되었습니다. 마닝 박사에 의하면 위키피디아는 이 제 더 이상 큰 데이터셋이 아니라고 합니다. 

만약 당신이 3백억 개의 단어를 시스템에 학습시킬 수 있다면 30억 개 를 학습한 시스템보다 더 성능이 좋아질 겁니다. 더욱 많은 데이터라는 건 처리해야 하는 더욱 많은 컴퓨팅 파워를 의미합니다

2012년에 머신러닝에 필요한 데이터 처리를 위한 컴퓨 터 파워의 수요는 2018년 경 30만 배 정도 증가했습니 다. Open AI는 “Defense of the Ancients 2”라는 게임을 사람과의 경쟁에서 이기기 위해 10개월 이상을 수천 개 의 칩을 돌려서 학습시키고 있습니다. 컴퓨터를 학습시키는데 돈이 정확하게 얼마나 들어갈지 알 수 있는 확률은 희박합니다. 

2019년에 에머 허스트 대 학에서 출판한 논문에 의하면 다른 큰 언어 모델을 학습하고 싶을 땐 3십억 원 정도 든다고 합니다. 페이스북 AI의 책임자인 제롬에 의하면 하나의 큰 모델을 한 번 학습하는데 전기비용만 수십억이 든다고 한다. 페이스북은 이런 비용을 부담할 수 있지만 다른 스타트업 들은 그렇지 못합니다. 그래서 그들은 MS나 아마존 같은 클라우딩을 이용합니다. 그리고 그 비용은 전체 매출의 25%를 차지할 수 있습니다. 마닝 박사의 동료인 페이페이 리는 AI 연구자들을 돕기 위 해 클라우드 컴퓨팅을 제공하는 국가기반의 클라우드인 National Research Cloud를 만들었습니다. 

전력이 필요해지면서 반도체 설계에도 새로운 붐이 찾아왔습니다. AI에 특화된 계산을 잘하기 위한 특별한 반도 체가 설계되었습니다. 1990년대부터 게이밍 성능 향상에 도움을 준 GPU가 AI 연구에 잘 응용되고 있습니다. 추후 새로운 게 나올 수도 있을 것 같습니다. 많은 회사들 이 달려들고 있으니까요. 12월에 인텔은 하바나 랩을 인 수했습니다. 엔비디아는 AI를 제대로 적용하기 위해 다 시 설계하고 있습니다. 구글은 TPU라는 칩을 사내에서 설계하고 있습니다. 바이두는 “쿤룬” 칩이라는 걸 디자인하고 있습니다. 

KPMG의 알폰소는 AI 특화 칩 시장이 이 미 11조 원가량의 시장이고 2025년엔 90조 원 가까이 될 것이라 보고 있습니다. 양자 컴퓨팅은 이론으로는 잘 알려져 있지만 실제로는 아 직 먼 얘기입니다. 구글, 마이크로소프트 등 많은 거대 테 크 기업들이 돈을 쏟아붓고 있지만 실제로 만들고 유지하 는 건 엄청한 공학적인 도전입니다. 인간의 뇌를 본 따 만 든 뉴로모픽 칩은 기존 기술로 만들 수 있지만 그 칩을 만 드는 과학자들도 아직 인간의 뇌가 어떻게 제대로 작동하는 지 모릅니다. 

그 말은 예상 가능한 미래에는 AI 과학자들이 현재 존재하는 컴퓨터 기술을 마지막 한 땀까지 쥐어짤 것이란 걸 의미합니다. 관계자들은 현재의 소프트웨어를 고치고 특 화된 칩으로 많은 걸 얻을 수 있을 것입니다. 좀 더 이해를 돕자면 비디오 게임을 예로 들 수 있을 것 같습니다. “우리는 지금 팩맨 수준에 와 있는 것 같아요”라고요