린스타트업의 데이터드리븐 첫걸음
좋은 지표란 무엇일까?
프로덕트를 평가하는 지표는 너무나 많습니다.
책이나 강연에서 어떠한 지표들을 구해보라고들 많이 합니다. 그리고 그 설명을 읽다 보면, 수긍이 가고 회사에서 팀원분들을 설득하여 힘들게 그 지표를 구하게 될 것입니다.
하지만 문제는 그런 '좋은 지표'들은 세상에 너무 많다는 것입니다. 몇십 개의 지표들을 관리하다 보면 그런 좋은 지표들은 의미가 퇴색되고 '그래서 뭐가 어쨌다는 거지?'라고 생각하게 될 것입니다. 세상의 모든 지표들은 좋은 정보를 줍니다. 하지만 오히려 그런 좋은 정보들이 뚜렷한 목표 없이 쌓이게 되면 오히려 활용이 낮아지게 되는 현상이 생기곤 합니다.
좋은 지표는 액션을 바로 떠올릴 수 있게 합니다. 데이터의 환상을 가지고 계신 분들은 데이터를 해석하는 과정에서 의미 있는 인사이트를 얻을 것이라고 생각하곤 합니다. 하지만 제 개인적인 경험으로 보았을 땐 오히려 해석이 필요 없는 직관적인 데이터들이 도움이 되는 경우가 대부분이었습니다. 해석이 필요 없다는 것은 바로 액션을 가능하게 하고 결국엔 더 힘이 강한 데이터라는 것이지요.
매출을 5% 증가시키는 것이 이번 분기 목표입니다!... 그런데 뭘 하면 되지?
만약 당신이 속한 팀의 분기 목표가 매출 증가라고 결정되었다고 가정해봅시다.
그렇다면 당신은 무엇을 해야 할까요? 신규 유입을 늘린다, 결제 전환을 늘린다, 재구매 유저 수를 늘린다 등등 너무 많습니다. 이 모든 것들을 한다면 매출은 당연히 올라갈 것입니다. 하지만 당신은 이 모든 것을 할 수 있는 시간이 없습니다. 그리고 설령 모든 것을 한다고 하더라도 본인이 한 모든 업무들이 어떻게 매출에 영향을 끼치는지 알 방법이 없습니다. 걱정 마세요. 많은 회사들이 겪는 문제입니다. 그렇다면 어떤 지표를 목표로 해야 좋은 액션이 나올 수 있을까요?
좋은 지표를 구하는 첫 번째 - 프로덕트의 핵심 유입, 전환, 유지
앞서서 우린 매출이란 것이 좋은 지표가 아니란 것을 알 수 있었습니다. 왜냐하면 매출이 오르고 줄어드는 이유가 너무 많기 때문입니다. 그럼 좋은 지표를 구하려면 반대로 하면 됩니다. 매출 발생과 관련된 지표를 나누고 그루핑 하여 보면 되는 것이지요.
하지만 여기서도 주의해야 할 점이 있습니다. 만약 매출과 관련된 모든 지표를 너무 많이 집계하다 보면 오히려 혼란에 빠질 수 있다는 점입니다. 매출이 하락하여 뭐가 문제지 하고 본다면, 어떤 건 하락하고 어떤 건 상승하고... 결국 결과를 해석해야 하는 단계가 오죠. 좋은 지표는 직관적입니다. 더 단순하게 그룹화할 필요가 있습니다.
여러분들이 만드는 프로덕트가 어떤 서비스를 하는지는 다 다르겠지만, 대게 세 가지로 나눠볼 수 있습니다. 바로 유입, 전환, 유지입니다.
만약 매출이 하락했다고 했을 때, 가장 먼저 봐야 할 것은 이 세 가지입니다. 일단 이 세가지만 봐도 대략적으로 어떤 액션을 해야 하는지 감이 바로 옵니다. 유입이 줄었다면 당연히 신규 유저 유치를 위한 프로젝트를 진행해야 할 것이고, 전환이 줄었다면 퍼널을 살펴보거나 구매 매력도를 상승시켜야 할 것입니다. 유지가 줄고 있다면 CRM 등으로 고객을 다시 활성 유저로 바꿔야겠죠.
물론 위 세 가지 지표는 모두 하락하거나, 모두 상승하거나 할 수 있습니다. 그래도 프로젝트를 평가했을 때 내가 유지를 위한 프로젝트를 했다면 유지의 성과를 보고 이번 프로젝트의 성패와 영향을 직관적으로 확인할 수 있습니다.
그렇다면 더 자세한 액션을 만들기 위해서는 어떻게 하면 될까요? 유입, 전환, 유지를 더 자세히 쪼개 보면 되는 것입니다. 이렇게 인과 관계로 지표들을 그루핑 하는 것은 보다 명확한 우선순위를 알려줍니다.
데이터는 하향식으로 확인하는 것이 좋습니다.데이터는 하향식으로 확인해야 합니다. 분산되어있는 지표들은 어떠한 하나의 메시지를 주기 힘듭니다. 하지만 명확한 타깃을 찾아가는 하향식 확인은 지표들이 그저 숫자로만 존재하게 하는 것이 아닌 하나의 스토리로 전달됩니다. 이러한 스토리는 프로덕트를 변하게 해주는 힘을 가져다줄 것입니다.
좋은 지표를 구하는 두 번째 - 세세하게 나눠 보자!
전에 여러 지표를 집계하는 한 팀원과 설전을 벌인 적이 있습니다. 다른 팀원분이 LTV를 구하는데 금액이 과대 집계되는 것 같아서 제가 같이 확인하는 중이었습니다.
자, 그럼 LTV는 직관적이지 않은 데이터여서 안 좋은 지표일까요? 아뇨, 이 세상에 절대적으로 나쁜 지표란 없습니다. 다만 이 팀원분은 LTV를 매출과 같은 하나의 덩어리 지표로 봤던 것이 문제였던 것이죠. 덩어리처럼 원인들이 뭉쳐 결과만 전달해주는 지표는 활용하기 힘듭니다. 매출을 우선 세 가지로 나눠서 봤던 것처럼 모든 결과 지표들은 나눠야 메시지를 전달해줍니다.
물론 지표를 구하는 목적이 가장 중요합니다. 그리고 그 목적에 따라 지표를 세세히 나눠봐야 합니다.
만약에 마케팅 채널을 관리하기 위한 목적이라면 채널별로 LTV를 쪼개 보면 좋습니다. 채널별 CAC와 LTV를 비교하면 그 채널을 유지할지 말지에 대한 중요한 정보를 전달해주죠.
위 방법이 LTV의 가장 기본적인 방법이지만 목적에 따라서 다양하게 이용할 수도 있습니다. LTV는 고객이 생애 주기 동안 프로덕트에서 사용한 금액의 평균치죠. 그렇게 생각하면 첫 구매 평균 금액과 재구매 평균 금액으로도 나눠볼 수 있습니다. 그렇다면 LTV가 줄고 늘어남에 따라 첫 구매에 힘을 주어야 하는지 고객 유지에 힘을 써야 하는지 액션을 가능케 해줍니다.
하나의 덩어리로 된 지표는 말을 걸지 않습니다. 하지만 이 지표를 쪼개는 순간, 지표들은 말을 걸어옵니다. 끊임없이 지표를 자세히 보기 위해 노력해보시길 바라겠습니다.
좋은 지표를 구하는 세 번째 - 선행지표와 인과지표
제가 가장 전달하고 싶은 마지막입니다. 선행지표와 인과지표, 처음 들어보시는 분이라면 걱정 마세요. 어려운 개념이 아닙니다.
선행지표란 어떠한 결과가 발생하기 전과 관련된 지표들을 말합니다. 예를 들어 반품을 관리하려는 목표를 세웠다면 반품률을 가장 먼저 구하실 겁니다. 하지만 반품률은 이미 결과입니다. 현재를 진단하는 것에는 좋은 지표겠지만 미래에 대비하기는 힘듭니다. 이미 지나간 일을 집계하는 것이니까요. 하지만 이와 반대로 컴플레인율도 같이 본다면 미래의 반품을 관리하기보다 수월할 것입니다. 불만족한 고객이 많다는 것은 잠재적인 반품 고객이 있다는 것이니까요. 이렇게 선행지표는 미래에 대비할 수 있는 힘을 줍니다.
인과지표는 서로 상관관계가 있는 지표를 말합니다. 예를 들자면 쇼핑몰의 경우엔 스크롤 도달률과 결제 전환율이 있을 수 있겠네요. 상품에 관심이 있다면 스크롤을 하게 될 것이고 관심은 곧 결제로 이어지게 될 것입니다. 물론 프로덕트가 무엇이냐에 따라 스크롤 도달률과 결제 전환율이 꼭 상관관계에 있다고는 단정 지을 수 없습니다. 이러한 상관관계를 지속적으로 발견해나가는 것이 중요한 것이죠. 상관 지표를 알게 되면 어떠한 행동을 해야 하는지 알려줍니다. 결제 전환율을 올리기 위해서는 스크롤을 계속 내릴 수 있는 매력적인 소개 페이지가 필요한 것이고, 팀은 이를 위해 움직이겠지요. 결제 전환율만 가지고 있었다면 있을 수 없는 일입니다.
선행지표와 인과지표를 알려면? - 통계 검정과 인수분해
선행지표와 인과지표가 중요하다는 것은 알겠는데, 이것들을 알기 위해선 어떻게 해야 할까요?
선행지표던, 인과지표던 모두 어떠한 두 지표가 상관관계에 있다는 것이 핵심입니다. 물론, 위의 예시는 당연한 것들이어서 검정 단계가 필요하지 않다고 생각할 수 있겠지만, 정작 프로덕트에 이러한 것들을 적용하려면 검정이 필요한 경우가 상당히 많습니다.
위 대화 내용의 핵심은 상관관계를 파악하지 않았기 때문에 생기는 문제입니다. 팀원 B분은 체류시간=관심으로 생각하여 체류시간을 늘리는 것이 좋다고 생각하셨겠지만, 우리는 검증 전까지 모르는 법입니다. 체류시간이 오히려 줄어드는 게 전환율에 도움이 될 수도 있고, 아니면 아무런 관계가 없을 수도 있죠.
가장 좋은 방법은 통계 검정입니다. 체류시간과 결제 페이지 전환이 관계가 있을 것이라는 가설이 있다면 검증을 해봐야죠! 만약 회귀 분석을 통해서 체류시간 1분이 가장 전환율이 높았다고 나왔다면 실험의 목표를 더 구체적으로, 정확히 할 수 있을 것입니다. 소개 페이지를 변경하며 체류 시간을 1분에 가깝게 할수록 성공한 프로젝트일 테니까요. 회귀식을 도출한다면 더 구체적으로 팀원분들을 설득할 수도 있겠죠.
물론 이렇게 이쁘게 나오는 경우는 거의 없습니다... 스타트업이라면 더더욱...근데 초기 스타트업일 경우 이러한 데이터가 적은 경우가 많습니다. 그럼 검정에 애를 많이 먹게 됩니다. 이럴 경우엔 더 단순하게 접근할 필요가 있습니다. 인과관계를 검정으로 밝혀내기 어렵다면 인수분해를 통해 수식으로 말해버리는 것입니다.
앞서 예시로 든 매출이라는 지표를 봅시다. 매출과 관련된 지표를 어떻게 생각할 수 있을까요? 매출은 다양한 형태로 인수분해가 가능합니다.
이런 방법으로 지표들을 이해하면 따로 지표들을 관리할 때보다 상관관계가 명확하게 보일 것입니다. 매출이라는 덩어리 지표를 볼 때보다 액션이 더 쉽게 생각날 것입니다. 매출이 늘고 줄 때 왜 늘고 줄었는지 더 명확히 생각을 할 수 있게 되겠죠? 매출이라는 것은 위 방법 말고도 (상품 수) X (상품 당 평균 매출), (유입 유저 수)X(구매 전환율)X(객단가) 등으로 많이 나눠볼 수 있습니다. 목적에 따라 인수분해를 하면 다양한 지표의 관계가 더 명확히 보이게 될 것입니다.
좋은 지표는 스토리가 있습니다.
지금까지 좋은 지표란 무엇일까 고민해봤습니다. 저도 초기엔 좋다는 지표들을 다 구해서 관리를 하였는데, 결국에 그런 '좋은 지표'들이 목적 없이 모일 경우에 나쁜 해석을 하게 만들더라고요.
지금까지 다양한 지표들을 관리하며 느낀 것은 스토리입니다. 좋은 지표들은 스토리를 가지고 있습니다. 이 문제가 있을 시엔 이걸 보고 이거는 저거랑 연관되어있고... 이런 식으로 말이죠. 그럼 결론이 빠르게 나옵니다. 지표를 관리하는 것은 복잡한 퍼즐을 맞추는 것이 아닙니다. 마치 책을 읽듯이 자연스럽게 읽혀 나가야죠.
저도, 여러분들도 넘쳐나는 지표들 속에서 각자만의 스토리를 이어 나가길 바라겠습니다. 감사합니다 :)
