초기 서비스는 데이터를 볼 필요가 없잖아요.
데이터가 너무너무 적은 초기 서비스는 꼭 데이터를 봐야 하는 건가요?
며칠 전 친한 Product Manager분이 저에게 데이터를 보는 게 어렵다.라는 이야기를 꺼내셨습니다. 이 전부터 같이 일하면서 데이터에 항상 강점이 있는 분이라고 생각했기 때문에 데이터를 보는 게 어렵다는 말씀을 하시는 게 평소 모습과는 다르다고 생각해 무슨 일이 있는지 조심스럽게 여쭈어보았습니다.
이야기를 들어보니 회사 상황으로 인해 원래 기획하던 서비스가 아닌 초기 서비스를 맡게 되었는데 처음 맡는 초기 서비스이다 보니 팀 내에서 '데이터'와 관련해서 여러 의견들이 많아 어느 정도까지 수용해야 할지 모르겠다.라는 게 하나의 고민 지점이었습니다. 여러 의견들을 두 개로 크게 나눠보면
1. 초기 서비스이니까 정량적인 데이터는 볼 필요가 없다. 정성적인 데이터 중 하나인 유저 보이스를 가지고 우리 서비스의 개선점을 찾아야 한다.
라는 의견과
2. 초기 서비스여도 데이터는 쌓인다. 정성적인 데이터만 보는 경우에는 한 부분에만 치우쳐진 의견을 볼 가능성도 있기 때문에 오히려 더 조심해야 한다. 정량적인 것도 봐야 한다.
라는 의견으로 나눠지고 있었습니다.
데이터와 관련된 일을 하는 사람이다 보니 2번의 의견에 좀 더 마음이 더 가는 건 어쩔 수 없나 봅니다. (1번 의견에 대해서 아예 이해가 가지 않는 건 아닙니다.) 그래도 저 나름의 주관적인 논리를 가지고 초기 서비스여도 정량적인 데이터를 왜 봐야 하는지 그리고 초기 서비스라면 어떤 식으로 데이터를 봐야 하는지 한번 적어보고자 합니다.
물론 완전한 초기 서비스라면 (정말 극극극 초기서비스인 경우에 말이죠) 유저를 한분 한분 찾아가서 왜 이 서비스를 사용하는지, 왜 이런 방식으로 서비스를 사용하는지, 서비스 중 어떤 부분을 개선했으면 좋겠는지 등 직접 찾아가는 시간이 필요하긴 합니다. '극초기 서비스는 그럼 언제가 극초기 서비스인가요?'라는 질문을 한다면 모든 사람들의 기준은 다 다르겠지만 저는 1. 일주일 안에 서비스에 가입한 유저들을 다~ 만나보고 인터뷰해 볼 수 있다. 2. 사용해 본 유저들은 정말 잘 사용하는 것 같다(product market fit이 잘 맞는다, 그리고 해당 서비스가 유저들의 문제를 해결해 준다)의 기준을 맞춘다면 저는 극초기서비스라고 기준을 정해볼 것 같습니다. (이는 제 주관적인 생각이기 때문에 무시하셔도 좋습니다. 사람마다의 기준은 다 다른 거니까요.)
만약, 1. product marekt fit이 잘 맞고, 2. 일주일 안에 서비스에 가입한 유저들을 다 만나보지 못할 정도의 서비스라면 이제 극초기 서비스라고 부르기에는 서비스가 조금 성장하지 않았나 싶습니다.(이젠 그냥 초기 서비스 입니다.) 극초기 서비스를 벗어난 후에는 데이터를 어느 정도 봐야 할 시기라고 저는 생각합니다.
서비스를 사용하면서 기록되는 유저들의 데이터는 유저들이 실제로 느끼는 앱의 사용성을 나타낼 수 있습니다. 하지만 유저들을 직접 만나 UT를 진행하거나, 인터뷰를 진행하는 경우에는 유저에게 지금 현재 '해당 서비스를 만든 사람을 만난다'라는 상황 자체가 하나의 변수가 될 수 있습니다. 이 변수는 유저들의 행동 혹은 대답에 큰 영향을 줄 수 있기 때문에 정성적 데이터를 제공하는 유저들의 모든 부분을 수용해서 서비스를 개선하게 된다면, 임팩트 있는 개선이 아닐 수도 있고 혹은 소수의 유저들만을 위한 개선이 이루어질 수 있다는 단점이 있습니다.
그렇다면, 초기 서비스라면 어떤 데이터를 봐야 할까요?
저는 초기 서비스일수록 많은 지표를 보기보다는 정말 중요한 '핵심지표'를 설계해서 봐야 한다고 생각합니다. 제가 서비스 개선을 위한 가설을 검증할 때나, 실험을 설계할 때 가장 경계하고자 하는 건 '너무 많은 지표를 보려고 하지 말자'입니다. 너무 많은 지표를 보게 된다면 검증하고자 하는 가설에 대한 명확한 검증이 어렵기도 하고, 의사결정을 진행할 때도 여러 지표를 고려해야 하기 때문에 빠르고 올바른 의사결정이 어려워질 수 있기 때문입니다. (스타트업은 속도가 생명이잖아요.)
그렇다면 이 '핵심 지표'는 어떻게 정의해야 할까요?
분석가마다 핵심지표를 정의할 때 고려하는 기준은 다를 수 있습니다. 하지만 '초기 서비스'이라는 점에 좀 더 초점을 맞춰본다면 저는 아마 이런 기준을 둘 것 같습니다.
이 서비스가 해결하고자 하는 문제에 대한 해결 결과를 보여주는 지표(해당 서비스의 목적)
서비스의 개선을 위한 가설과 직접적으로 연관이 있는 지표
사용자 행동에 대한 예측이 가능한 지표
어느 누가 봐도 '이 서비스는 이 지표를 봐야 해'라고 명확하게 이해할 수 있는 지표
누군가는 이런 기준을 보면 너무 당연한 거 아니야?라고 생각할 수도 있지만 실제 서비스에 대입해 본다면 지표가 쉽게 떠오르지 않을 수도 있습니다.
좀 더 쉬운 설명을 위해 예를 한번 들어보겠습니다. '초기 서비스'로 배포된 하나의 서비스인 '구매 물품에 대한 후기와 그 물건에 대한 최저가' 서비스가 배포되었고 이 서비스는 다른 소비자들의 많은 후기를 통해서 소비자들이 사고자 하는 물건을 '싸게' 구매했으면 좋겠다는 문제를 해결하고 싶음.이라고 가정해 보겠습니다.
이 서비스의 핵심지표는
소비자들이 물건을 더 싸게 샀고
소비자들이 더 많은 후기를 본 후에 구매했고
다른 소비자들의 더 많은 후기를 본 후에 사고자 하는 물건을 구매했다.
를 보고자 한다면 '구매 물품에 대한 다른 사람들의 후기를 본 후 최저가를 구매한 비율'을 해당 초기 서비스의 핵심지표로 잡아볼 수 있습니다. 이런 식으로 초기 서비스의 핵심지표를 찾게 된다면 현재 개선하고자 하는 부분에 대해서 더 집중할 수 있기도 합니다.
초기 서비스의 경우에는 작고 소중한 유저들에 집중해 정량적인 데이터에 대해 잠시 소홀할 수 있습니다. 하지만 모든 유저들을 직접 만나볼 수 있는 서비스 단계가 아닌 이상, 정량적 데이터는 좀 더 나은 서비스 개선을 위해 필수적으로 봐야 하지 않을까 라는 생각입니다. 정성적인 데이터를 본다면 좀 더 심층적으로 유저들의 마음을 들여다볼 수 있겠지만, 정량적인 데이터를 본다면 지금 당장 개선해야 하는 부분이 보이지 않을까라는 의견을 한번 던져봅니다.
