데이터 분석과 데이터 사이언스

사용자를 이해하기 위해 사이언스를 하다

현재 저는 회사에서 프로덕트 데이터 분석가로서 일을 하고 있어요. 제가 하는 일은 사용자들에 대한 데이터를 수집하고 분석해서 현황을 알아내고 그 이면에 담긴 이유를 알아내고 실험을 통해 프로덕트를 더 발전시키는 일이에요. 실리콘밸리의 많은 회사에서 저와 같은 일을 하는 사람들을 보니 '데이터 사이언티스트'라고 하더라구요. 그 사실을 알게 된 뒤로 '데이터 분석과 데이터 사이언스는 어떤 차이가 있을까?'라는 고민을 하게 되었어요.

처음 일을 시작할 때, 머신러닝 개발자로 시작했는데요. 그 때는 데이터 분석과 데이터 사이언스라는 말에 대해서 거의 듣지 못했어요. 그렇기 때문에 저에게는 데이터 분석이라는 영역이 새로웠어요. '분석'이라는 단어는 평소에도 많이 사용하고 친숙했지만요. 일로서 데이터 분석을 전문적으로 하다보니 좀 더 깊게 생각하게 되었어요. '데이터 분석은 무엇을 하는 일일까'라는 생각을 더 하게 된거죠.

그래서 한 번 분석이라는 단어의 어원을 찾아봤어요. 위키피디아에서는 '분석(分析)은 복잡한 내용, 많은 내용을 지닌 사물을 정확하게 이해하기 위해 그 내용을 단순한 요소로 나누어 생각함을 뜻한다.'이라고 나와있어요. 실제로 제가 하는 일도 어떠한 현상을 보고서 그 현상이 왜 발생했는지, 어떤 성격을 지니고 있는지를 알아내기 위해 다양한 관점으로 요소를 나눠서 생각했던 것 같아요. 

예를 들어 만약 시험 성적이 떨어졌다고 해볼께요. 그러면 시험 성적이 떨어진 현상을 발견한 것이고 이 현상을 제대로 이해하기 위해서 아마 과목별로 나눠서 점수를 살펴볼 거에요. 그리고 이전 시험의 각 과목 성적을 비교해보면서 어떤 과목에서 점수가 특히나 낮아졌는지 알아보겠죠. 이렇게 나눠서 봄으로서 '시험 성적의 하락'에 대해서 더 잘 이해하게 되는 거에요. 

그렇다면 데이터 분석과 데이터 사이언스는 무엇이 다를까요? 나름 과학을 교양으로 배웠던 경험이 있어서 과거를 회상해보니, 많은 과학자들이 위대한 이론을 만들어낼 때 항상 분석을 했던 것 같더라구요. 지구가 태양을 중심으로 돈다는 것을 주장한 코페르니쿠스도 정말 많은 분석을 통해 지구가 태양을 돌 수 밖에 없다는 것을 알아냈어요. 데이터를 기반으로 기존의 잘못된 통념을 뒤엎을 새로운 근거를 확보한 것이에요. 코페르니쿠스 이전에는 측정과 분석이 아닌 인간의 상상력으로 우주를 이해하려 했던 것이 아니었을까요.

이미지 출처 : https://en.wikipedia.org/wiki/Solar_System

그렇다면 데이터 분석이라는 것은 과학이라는 큰 범주안에 들어가는 분야가 아닐까?라는 생각을 하게 됐어요. 데이터라는 말이 최근에서야 널리 쓰이는 말처럼 보이지만 사실 측정할 수 있는 모든 것을 데이터라고 할 수 있지 않을까요? 과학이 발전하는데 있어서 데이터는 엄청난 역할을 했어요. 결국 기존에 인류가 세상을 이해하던 방식과 다르게 과학은 '과학적 방법론'이라는 것을 통해 세상을 이해함으로서 인류가 더 앞으로 나아가게 했어요. 

과학적 방법론이라는 것은 무엇일까요? 하나의 명확한 정의가 있지는 않지만 옥스퍼드 영어 사전에서는 이렇게 정의되어 있어요. 관찰과 측정을 통해 데이터를 확보하고 그 데이터를 사용해서 분석한 다음, 가설을 세우고 실험을 통해 일반화를 하는 것이에요. 과학을 과학적 방법론에 따라 여러 현상을 연구하는 학문이라고 하면 그 여러 현상을 연구하는 방법 안에 '데이터를 확보한 후에 분석한다'라는 방법이 들어있는 거죠. 

17세기 이후 자연과학에 의해 정형화된 계획적인 관찰, 측정, 실험, 일반화, 시험 및 가설의 변경 등의 과정으로 이루어진 방법
                                                            — Oxford English Dictionary, entry for scientific.

 

제가 처음 분석을 시작한 이유는 이전까지 없었던 어떤 현상이 서비스 전반에 나타났을 때였어요. 그 상황이 발생한 이유가 상당히 궁금하더라고요. 저는 개인적으로 연구로부터 되게 멀리 떨어져 있다고 생각했는데, 큰 범주 안에서는 어쩌면 과학자들과 같이 '과학'을 하고 있는 게 아닌가 싶었어요. 

데이터 분석가는 사용자들이 상호작용하면서 일으키는 여러 상황들에 대해서 관찰하고 통계적인 방법으로 분석을 한 다음에 가설을 세우고 a/b 테스트를 하죠. 그렇게 많은 테스트를 통해 확인된 사실들이 '지식'이 되어서 더 나은 프로덕트를 만드는 방향성을 알려줍니다. 

데이터 사이언티스트가 일하는 흐름을 살펴보면 이런 식일 거예요. 특정 현상을 관찰하면서 '인사이트'를 얻거나 '문제의식'을 가지게 될 거예요. 그다음에 그 사실을 확인하기 위해 데이터를 수집할 겁니다. 데이터가 있어야 분석을 하고 실험을 할 테니까요. 데이터를 통해 통계 분석을 하면, 다양한 '사실'을 수집할 수가 있어요.

하지만 사실만으로는 현상 이면의 원인을 설명하기는 부족합니다. 따라서 수집한 사실을 통해 다시 한번 인사이트를 발동시켜 다양한 '가설'을 세울 거예요. 만약 가설을 세우기 어렵다면 아직 알고 있는 'fact'가 부족한 것입니다. 그 가설이 맞는지 확인할 방법은 바로 실험입니다. 실험을 통해 맞다고 확인된 가설을 통해 프로덕트를 발전시키겠죠. 그렇게 사실이라고 확인된 가설들은 모여서 프로덕트에 대한 더 높은 차원의 인사이트를 만들어냅니다. 

그래서 데이터 사이언스라는 것을 하기 위해서는 (1) 문제의식 or 인사이트 (2) 데이터를 수집할 수 있는 능력 (3) 모인 데이터를 통계적으로 분석할 수 있는 능력 (4) 분석 결과로부터 가설이라는 새로운 인사이트를 도출해내는 능력 (5) 가설이 맞는지 테스트를 통해 검증해내는 능력 (6) 테스트 결과를 통해 더 높은 차원의 인사이트를 얻어내는 능력 이 필요한 거죠. 

만약 (3)만 하는 사람을 분석가라고 부른다면 데이터 분석가의 스코프는 너무 좁은 겁니다. 한 사람이 위의 6가지에 대해 다 강점을 가지기는 어려워요. 하지만, 결국 분석을 하는 이유에 대해서 생각해보면 6가지의 능력에 대해서 알고 있어야 하는 것 같아요. 분석을 하는 이유는 결국은 프로덕트나 사용자에 대한 이해나 인사이트를 한 차원 더 높여가기 위한 것이고 그렇게 하는 사람은 데이터를 가지고 과학을 하고 있다고 할 수 있어요.

과학적 방법론은 인류가 세상을 더 많이 이해하도록 도왔고 그로 인해 자동차, 비행기, 에어컨, 반도체 등을 만들어낼 수 있었다고 생각해요. 앱 서비스를 다루는 데이터 과학자도 마찬가지로 '과학적 방법론'을 통해 사용자와 프로덕트에 대해 더 이해함으로써 혁신을 이룰 수 있는 기틀을 마련하는 사람이 아닐까 싶어요. 

이미지 출처 : https://unsplash.com/photos/ZRns2R5azu0

물론, 과학적 방법론이 아니어도 서비스와 사용자에 대해서 이해할 수 있어요. 하지만 마치 인류가 천동설로 세상을 이해해왔던 것처럼 잘못된 지식과 통찰을 가지고 있을 가능성이 큽니다. 이미 많은 회사와 서비스에서 '데이터 사이언스'는 그 영향력을 수없이 보여주고 있어요. 사람의 인지는 한계가 많은데, 서비스는 점점 커지고 있기 때문에 점점 더 발전하기 위해서는 사람의 인지를 뛰어넘는 방법이 필요한 것이겠죠. 

인터넷이 발전하고 앱 서비스가 극적으로 성장함에 따라 온라인에 존재하는 데이터는 거의 무한대까지 늘어나고 있어요. 새롭게 탄생한 이 세상에 대해서 이해를 하기 위해서 수많은 과학자들이 필요해요. 저 또한 단순 분석을 넘어 과학을 사용해 사용자들과 서비스를 이해하는 일을 하려고 해요. 뉴턴 같은 일을 할 수는 없겠지만, 근본은 동일하다고 생각이 들어요. 사용자들이 더 좋은 경험을 할 수 있도록, 서비스라는 세상을 이해하는 즐거움을 느끼며 더 앞으로 전진하는 일을 하는 것 같아요.