0. 스타트업과 데이터의 가슴아픈 사랑 이야기
데이터를 분석하는 일로 먹고사는 나 조차도 데이터 분석에 회의적일 때가 있다. 기계적으로 데이터를 분석하거나, 의미없는 특정 지표에 의미를 부여하거나, 의미가 있더라도 통제할 수 없는 변수들에 마땅한 결론을 짓지 못할 때. 분석의 본질이 완전히 흐려지는 것을 경험한다. 그럼 데이터 분석을 그만두어야 하는가? 이 질문에 대한 답은 ‘절대 그렇지 않다'이다.
스타트업 데이터 분석의 교과서로 여겨지는 <린 분석>에서는 데이터 분석의 본질을 아래의 한 문장으로 정리했다.
.
영감은 인간의 영역이고 검증은 기계의 영역이다.
혁신이란 인류가 분명히 마주하게 될 미래를 관통하는 날카로운 영감이 시장의 호응으로 검증받는 일련의 과정을 의미한다. 따라서 창업가는 지나치게 영감에 의존하거나 검증의 늪에서 더 이상의 영감을 사용하지 않는 두가지의 불상사를 피해 영감과 검증의 영리한 균형을 이뤄야 한다.
스타트업들이 흔히 저지르는
실수
많은 초기 스타트업들은 정량적 데이터가 통계적으로 유의미한 수준까지 쌓이기 전까지 일대일 인터뷰나 설문조사 등의 정성적 지표를 통한 제품 개선에 극도로 집중한다. 나아진 제품으로 더 많은 사용자가 유입되면 세밀한 제품개선을 위한 정량적 데이터 분석에 본격적으로 돌입한다. 하지만 시작은 결코 쉽지 않다. 데이터는 계속해서 쌓이는데 이 숫자더미들을 어떻게 요리해야하는지 전혀 모르는 것이다. 어느덧 데이터 분석은 뒷전이고 당장 코 앞에 닥친 문제들에 시간을 쏟는다.
도저히 여력이 나지 않아 데이터 분석가를 영입했다. 회사의 모든 데이터를 다 책임지겠다는 당찬 포부와 함께 전사 데이터 분석의 포문이 속시원하게 열리는듯 했다. 몇주 뒤, 데이터 분석가는 데이터베이스에서 멋진 쿼리를 날려 뽑아낸 여러 지표들을 쭉 나열해 보여준다. 처음 보는 지표들에 모두의 눈이 반짝였고 마치 성적표를 받아보는듯한 긴장감이 느껴졌다. 분석가는 각 지표의 의미에 대해 열변을 토하며 우리의 성과를 읊어주었다. 모든 수치는 비교적 평탄하게 올라가고 있었고 창업 초기에 비해 폭발적으로 증가한 몇몇 숫자들 덕분에 기분이 매우 좋았다.
그래서 다음 질문을 던졌다. “그럼 이제 우리는 무엇을 하면 좋을까요?” 아쉽게도 돌아오는 대답은 마치 이제 막 지상에서 떠오른 열풍선에 구멍을 내는 답변과도 같았다. “이제 생각해봐야죠.”
물론 이 이야기는 내가 지어낸 이야기다. 하지만 불행하게도 많은 스타트업들이 이와 비슷한 일을 빈번하게 겪는다. 따라서 스타트업에게 가장 빈번하게 발생하지만 가장 주의해야 하는 최악의 상황을 몇가지 정리해 보았다.
1. 데이터 분석가 등 애초에 데이터를 볼 수 있는 사람이 없다.
첫번째 경우는 데이터 분석의 중요성은 알고있지만 당장 눈 앞의 문제 해결이 시급한 경우이다. 스타트업은 항상 인력과 시간이 부족하다는 것을 잘 알고 있다. 하지만 그들에게 데이터는 시장이 들려주는 목소리와 같다. 당장의 이슈들을 해결하느라 데이터를 등한시하는 것은 눈과 귀를 닫고 절벽으로 뛰어가는 것과 같다. 만약 데이터를 전담하는 인력을 갖출 수 없다면 창업가 본인 스스로 그 일을 반드시 해야한다. 스타트업에게 데이터 분석은 선택이 아닌 필수이다.
2. 데이터를 사내 몇몇 사람만 보고 있다.
뭔가 조직 내에 여러 지표들이 돌아다니고는 있지만, 정작 그 데이터를 활용하는 사람이 소수에 불과한 경우는 무조건 피해야할 최악의 상황중 하나이다. 스타트업처럼 규모가 작고 팀간의 상호협력이 촘촘한 조직에서는 누구나 쉽게 필요한 데이터를 볼 수 있어야 한다. 이 당연한 일이 잘 되지 않는 이유는 모든 팀원이 쉽게 데이터를 확인할 수 있는 방법이 없기 때문이다. 엑셀 시트에 어지러운 몇몇 지표를 밀어넣고 볼테면 봐라 식의 공유 방식은 크고 작은 의사결정이 데이터와 점점 멀어지게 한다.
따라서 데이터 시각화는 데이터 분석의 기본이자 필수이다. 이미 엑셀에 지표가 있다면 그것을 시각화하는데는 하루도 채 걸리지 않는다. 시각화 경진대회에 나가는게 아니다. 사소한 디테일에 집착하지 말고 모두가 쉽게 이해할 수 있는 형태의 대시보드를 만들어라.
3. 의미없는 데이터를 열심히도 본다.
이런 경우를 보면 참 마음이 아프다. 데이터기반의 의사결정을 내리겠다고 여러 지표를 긁어 모았는데 정말 의미 있는 지표들이 허상지표들 속에서 빛을 보지 못하고 있다면, 정말 중요한 가설의 결과가 희석되거나 왜곡될될 수 있다. 결국 잘못된 의사결정을 내리고 뒤통수를 맞은듯한 기분으로 데이터 분석이 정말 의미있는지 의심하기 시작한다.
이처럼 모든 지표는 다 중요해보이지만 분명한 알곡과 가라지가 존재한다. 실질지표와 허상지표를 구별하는 여러가지 기준이 있지만 경험상 가장 명확한 기준은 다음과 같다.
▪︎허상지표
- 아무것도 하지 않아도 쉽게 오르내린다.
- 변동의 원인을 알 수 없어 갑자기 기분좋게 만들거나 갑자기 불안하게 만든다.
- 연관된 가설이 들어맞을 때보다 틀릴 때가 더 많다.
▪︎실질지표
- 우리의 가설, 목표와 직접적으로 연관이 있다.
- 우리의 행동과 시장에 따라 움직인다.
- 왜 오르내렸는지 어느정도 예측이 가능하다.
4. 데이터를 봐도 뭘 해야할지 전혀 모르겠다.
데이터 베이스를 광산에 비유한다면 그 속에 숨겨진 다이아몬드는 무엇일까? 바로 명확한 행동 방식이다. 특정 지표에 문제가 생겼을 때 행동 방식을 어떻게 개선해야하는지 모른다면 당신이 있는 곳은 다이아몬드 광산이 아닌 그저 깜깜한 지하동굴이다. 다이아몬드를 발견하지 못했다고 해서 광산을 뛰쳐나올것인가? 그럴 수 없다. 우리는 어떻게든 다이아몬드를 찾아내야 한다. 그러므로 포기하지말고 앞으로 이 시리즈에서 다룰 올바른 도구를 사용해 깜깜한 동굴 속에서 한줄기 빛을 찾길 바란다.
글을
마치며
오늘 글에는 스타트업과 데이터의 가슴아픈 사랑이야기를 다루어보았다. 서로를 향한 마음은 굴뚝같지만 합을 맞추기 쉽지않은 이 둘의 슬픈 이야기가 공감 된다면 앞으로의 글들도 읽어나가길 바란다. 분명 해피엔딩으로 끝날 이 여정이 통해 많은 창업가와 데이터 분석가들의 답답함이 시원하게 해소되길 바란다.
다음 글 | 데이터를 보기 전에 꼭 확인해야 할 것
같이 읽으면 좋은 책 | 린 분석 : 성공을 예측하는 31가지 사례와 13가지 패턴
