빅데이터의 다음 단계는 예측 분석이다
넘버스 2017 시즌1-2, 에릭 시겔
작년 말에 가입한 트레바리의 독서클럽 '넘버스' 에서, "신호와 소음" 에 이어 읽게 된 책이다.
"신호와 소음" 이 예측 분석 분야에서 이름을 알린 네이트 실버 라는 통계학자가 각 분야의 사례를 통해 넓은 범위의 예측 분석의 성공과 실패 사례를 소개한 책이었다면, 이 책은 최근 들어서 점점 더 조명을 받고 있는 "빅데이터를 기반으로 한 예측 분석 Predictive Analytics"이라는 분야를 소개하는 책이다. 데이터는 우리가 눈치 채기 전부터 이미, 많이, 존재해왔기 때문에 어느날 갑자기 빅데이터라는 용어가 등장해서 그것들을 빅데이터라고 지칭하는 것은 어색하게 느껴졌었다. 하지만 실제로 생산되는 데이터의 양이 증가하고, 그리고 데이터의 가치가 더 중요하게 여겨지면서 디지털에서 일어나는 일들의 과정에서 생산되고 수집되는 모든 것들을 데이터로 남기기 시작하고, 그로 인한 데이터의 생산으로 인한 추가 데이터의 생산도 폭발적으로 증가한 것은 맞다. 그래서 특별히 "빅데이터" 라는 용어가 분야를 막론하고 한자리 차지하여 이슈를 생산하는 것은 당연한 일인 듯 보인다.
이 책에서 촛점을 맞추고 있는 빅데이터 기반의 "예측 분석"이 사회적으로 주목을 받고 있는 것은, 사실 돈이 되는 일이기 때문인 것 같다. 빅데이터 기반의 "예측 분석"은 목적이 명확하다. 마케팅 등 액션의 대상을 잘 구분하여 비용을 덜 쓰고, 그들에게 적절한 액션을 취해서 이익을 늘리는 것이다. 특정 제품을 산 고객이 어떤 제품 추가로 구매할지, 퇴사할 확률이 높은 직원이 누구인지, 언제 어디서 범죄가 일어날 가능성이 높은지 예측한다. 광고, 보험, 의료, 정부, 정치 등 분야를 막론하고 "예측 분석"은 경제적으로 탁월한 효과를 만들어낼 수 있다. 따라서 비즈니스 시장에서 당분간 핫한 화두로 지속될 것이고, 그리고 나서는 기업에서 당연시 되는 기본적인 전략이 될 것 같다.
하지만 간과할 수는 없는 것이 윤리 도덕적인 측면이다. 책을 읽으면서 영화 "마이너리티 리포트"가 떠올랐는데 이후 챕터에서 곧이어 언급이 되더라. 디지털 세상의 숫자는 정확하고 편견에 치우쳐있지 않지만, 이를 다루고 이용하는 것은 사람이다. 개인정보의 프라이버시 이슈는 잘못된 접근 권한 또는 유출로 이미 큰 사회문제가 되고 있다. 그리고 예측된 어떤 일이 발생하기도 전에, 또는 발생하는 것을 막아서 발생하지 않았는데 낙인을 찍는 것 또는 없던 일로 간주하는 것은 극과 극의 의미를 지니지만 선뜻 어느 쪽의 편을 들기 쉽지 않다. 어떤 것을 완벽하게 숨기고 제한하고 검열하는 것은 불가능하고 이것은 부작용을 야기하기 때문에 윤리 도적적인 측면에서 예측 분석을 아예 하지 말아야한다고 주장하는 것은 동의하기 어렵다. 그보다는 이 분야에 있어서 윤리 도적적 역할과 자기 검열에 대한 연구가 반대편에서 깊이 있게 진행되어야 할 것 같다.
그 밖에 빅데이터 기반의 "예측 분석" 을 구현하는 방법인 머신 러닝을 통해 예측 분석의 모델을 만들어내고, 집단 지성 효과를 이용해 이를 강화하는 방법에 대해 소개하고 있어, 읽다보니 머신 러닝의 기법과 실제 구현 방식이 궁금해졌다. 기회가 된다면 머신 러닝에 대한 책도 읽어봐야겠다.
퇴근 후 넘버스 독서 클럽의 두번째 모임에 다녀왔는데 요즘 계속 야근을 했더니 집에 돌아오는 12시 경엔 춥기도 하고 몸도 헤롱헤롱. 걷는 것도 힘들어서 간신히 집에 들어왔다.
토론 시간이 왠지 너무 피곤해서 이 클럽이 나한테 별로 안 맞나 싶었는데, 며칠 지나 생각해보니 나서서 말하는 것도 별로 안 좋아하는데 말 잘하는 사람들 사이에서 뭔가 말을 해야하는 부담감과 언제나 그렇듯 잘 해야한다는 강박과 욕심이 여기서도 스스로를 괴롭힌 것 같다. 정작은 아무것도 하지 않으면서 욕심만. 재밌자고 가입한 모임에서, 잘해야 할 필요는 아무것도 없는데.
적당히 가자.
