데이터는 새로운 석유

페드로 도밍고스, '마스터 알고리즘'

산업혁명은 수공업을 자동화하고, 정보 혁명은 정신노동을 자동화한 반면
머신러닝은 자동화 자체를 자동화했다.

JustJerk, America's got talent 2017 (알고리즘이 찾아준 취향저격 Best!)

(전자책 10%)

기업은 성장하면서 3단계를 거친다. 1단계는 모든 일을 손으로 하는 단계다. 소규모 자영업 주인은 손님을 직접 알고 손님에게 맞춰 상품을 주문하고 진열하고 추천한다. 이것도 좋기는 하지만 규모가 크지 않다. 가장 덜 행복한 2단계는 회사가 성장하여 컴퓨터 사용이 필요해진다. 프로그램 작성자와 상담가, 데이터베이스 관리자를 고용하고 자동화할 수 있는 모든 기능을 자동화하는 수백만 줄의 컴퓨터 프로그램을 작성한다. 이전보다 훨씬 더 많은 고객에게 서비스를 제공하지만 서비스 수준은 이전과 같지 않다. 고객을 위한 결정은 대략적인 인구통계학의 범주에 따라 행해지고, 컴퓨터 프로그램은 사람들의 무수한 다양성을 맞출 정도의 융통성에 턱없이 못 미친다.

+ (중략)

머신러닝 알고리즘은 중개인이다. 정보 과다라는 장벽을 부수어 생산자와 고객을 찾고 연결해 준다. 머신러닝이 아주 똑똑하다면 당신은 세세한 부분까지 개별적인 보살핌을 받으며 광대한 선택 안과 폭넓은 저가 가격대라는 두 세계를 제대로 이용할 수 있다. 머신러닝이 완벽하지 않고 최종 결정도 여전히 사람이 내리지만, 머신러닝은 사람이 다룰 수 있을 만큼 선택 안을 현명하게 줄여 준다.

+

머신러닝이 한 회사의 상품을 확실히 좋아하도록 할 수 있는 최선의 방법은 회사가 직접 머신러닝을 수행하는 것이다. 최선의 알고리즘과 최대의 데이터를 보유한 기업이 승리한다. 이로써 새로운 종류의 순환 고리가 생긴다. 가장 많은 고객을 보유한 회사가 가장 많은 데이터를 수집하고, 가장 좋은 모형을 학습하고, 가장 많은 신규 고객을 얻으며, 이러한 선순환이 계속 이어지는 것이다(경쟁자로서는 악순환이다). 구글에서 빙으로 옮기는 것은 윈도우에서 맥으로 옮기는 것보다 쉽겠지만 실제로 사람들이 옮기지 않는 까닭은 분명하다. 빙의 기술이 구글과 똑같이 훌륭하다 하더라도 먼저 비스를 시작하고 시장점유율이 높은 구글이 사람들이 원하는 것을 빙보다 잘 알기 때문이다. 이미 10년 넘게 학습을 해 온 기존의 검색 엔진에 도전하여 새롭게 인터넷 검색 시장에 들어와 축적된 데이터 없이 시작하려는 도전자는 가엾을 뿐이다.

+

선택 안과 데이터가 많다면 어느 시장에서도 이와 같이 역동적인 일이 일어난다. 경쟁이 생기고 가장 빨리 배우는 알고리즘이 승리한다. 머신러닝은 단순히 고객을 더 잘 이해하는데서 끝나지 않는다. 기업이 데이터를 확보하면 머신러닝을 회사 운영의 모든 면에 적용할 수 있으며, 데이터는 요즘 컴퓨터와 통신 기기, 가격이 점점 더 싸지고 더 널리 퍼져있는 센서에서 쏟아져 들어오고 있다.

데이터는 새로운 석유다

석유처럼 데이터도 정제하는 일이 큰 사업이다. 어느 회사와 비교해도 손색없을 만큼 훌륭하게 사업을 해 나가는 IBM은 분석 기법을 도입하는 성장 전략을 수립한다. 여러 사업 분야에서 데이터를 전략 자산으로 여겨 다름과 같이 묻는다. 경쟁사는 없고 우리만 보유한 데이터는 무엇인가? 이것을 어떻게 이용할 것인가? 우리는 없지만 경쟁사가 보유한 데이터는 무엇인가?

---

작년부터 빠져든 유튜브 영상을 보다 보면 시간 가는 줄도 몰랐다. 한 두 개 영상을 검색하면 비슷하지만 다른 영상들이 여기저기서 올라온다. 'JustJerk'는 '올레디' 댄스 영상을 시청한 후 알고리즘이 나에게 보내준 영상이다.

알고리즘은 나보다 나를 더 잘 알고 있었다. JustJerk의 3년 전 영상을 몇 번이나 봤는지 모르겠다. 댄스를 위해서 태어난 음악처럼, 음악을 위해 태어난 사람처럼 완벽한 영상이었다^^

늘 궁금했다. 알고리즘은 어떻게 만든 걸까? 사람들이 말하는 기계 학습이란 어떤 걸까?라는 생각에 관련 영상도 몇 개 찾아보고, 이 책도 만나게 되었다. 책은 7월에 구입하고, 아직도 다 읽지 못했다. 책을 샀다는 것도 잠시 잊고 있다가 다시 읽기로 했다. 왜냐하면 다시 파이썬 영상을 보게 되어서^^;;

알고리즘을 만들 수는 없지만 알고 싶었다. 어떻게 나를 귀신같이 알아냈는지, 그리고 그다음은 무엇인지를 궁금했다. 책의 분량은 많고, 시간은 다른 책 보다 더 걸릴 것이다. 하지만 읽고, 내용을 요약해서 한 번 더 올려야지 하면서 오늘 다시 읽기 시작했다.

Master algorithm!

Justjerk 1 https://www.youtube.com/watch?v=Wb_Oq6iAjf4&t=172s

Justjerk 2 https://www.youtube.com/watch?v=7dbOkKWT0V8&t=237s