클릭율이 200%가 올랐습니다!
보람찬 프로덕트 매니징 (02)
보람찬 프로덕트 매니징 두 번째 글입니다. 오늘은 서비스 데이터를 중심으로 제가 경험했던 에피소드를 풀어보려고 해요. 실제로 에피소드가 일어난 기간과 상황은 더 복잡하고 들쭉날쭉하지만, 올바른 데이터 분석의 중요성을 쉽게 전달해보고자 많은 생략과 약간의 각색을 거쳐 스토리텔링 하였습니다. 지면에 한계가 있어 요약하였지만, 데이터 에피소드는 워낙 많아 시리즈에서 지속적으로 소개 하겠습니다. ^^ 오늘의 에피소드는,
클릭율이 200%가 올랐습니다!
어느 날 주니어 기획자 A가 자랑스럽게 외칩니다. 서비스 메인 페이지 개편1)을 했는데 메인 페이지에 게시한 컨텐츠 카드의 클릭율이 무려 200%가 올랐다구요! 축하할 만한 일인 것 같은 느낌도 드는데요 (...) 그런데 이렇게 기뻐하고 끝내기에는 몹시 찜찜합니다. 떠오르는 질문이 많지만 하나씩 해볼까 해요. A님, 무엇을 어떻게 바꾼건가요?
이렇게요. ^_^아하, 네... 그, 크흠. 컨텐츠 카드의 크기가 커지고 갯수가 줄었군요. 사용자의 선택지가 줄어들었네요... (어쩌면 그저 분모가 줄어든 것 아닌가도 싶은데...) 그런데 200%라고 하면 숫자가 몇에서 몇으로 바뀐 것인가요?
네! 대시보드를 봤더니 일 클릭 1,500에서 3,000으로 두 배가 뛰어서 200%가 늘었어요. ^_^!
아하, 네.. 크흠. 그렇군요. 그렇지만 두 배로 늘은 것은 200%가 아니라 100% 늘은거에요... 그보다 원래 메인페이지의 UV당 CTR은 평균 15%2)쯤 하잖아요? 컨텐츠들의 클릭수와 클릭율이 노출 대비 골고루 상승한 것인지 궁금한데 어때요?
이렇게요. ^_^;;아하, 네.. 그, 크흠. 지표가 상당히 튀는 첫 번째 컨텐츠를 제외3)하면, 오히려 클릭수가 줄어든 것 같은데 아마도 기분 탓이겠죠... 그런데 우리가 이 메인페이지를 몹시 사랑하긴 하지만, 사용자 유입 채널을 통해 랜딩하는 페이지로 잘 활용하고 있지는 않잖아요? 사용자가 유입된 주요 레퍼러4)를 좀 조사해보셨을까요?
메인 페이지는 랜딩 타겟으로 거의 활용되지 않아 주로 직접(Direct) 인입되고, 외부 채널에 노출된 일부 상세컨텐츠에서 메인으로 이탈하기도 하면서 총 사용자 유입수를 만들어내요늘 돌리던 광고 외에는 특별한 이벤트가 없어서 직접 유입도, 외부 채널 유입도 늘지는 않았을텐데... 아니 잠깐만요. 그런데 메인 페이지의 UV가 어제보다 10,000 가량 더 늘었네요. 이로서 개별 컨텐츠의 클릭율이 오히려 줄어든 것은 확실해졌네요... 그런데 UV가 늘만한 일이 뭐가 있을까요? 아니, 상세 컨텐츠 A에서 메인으로의 이탈5)이 갑자기 왜 이렇게 많아졌을까요? (... 급하게 조사한다 ...)
소셜 광고와 연결된 상세 컨텐츠 A의 하단에, 다른 추천 컨텐츠들이 모두 일괄로 메인으로 이동하고 있네요... 이건 코드 오류에요. ;ㅅ; 아악.. 비싼 광고를 돌리고 있는데!!! 어제 배포분을 롤백하거나 핫픽스 해야해요!!!
오...오류는 개발자님과 말씀 나누고 고칠게요! 그렇지만 메인 페이지 컨텐츠 하나의 클릭 수가 15,000을 찍은 적은 없다구요! 무려 일일 평균의 5배인 500%가 증가한 히트 컨텐츠에요! 이것은 개편의 효과가 분명해요!
3,000에서 15,000이 된 것은 400% 증가한 것이에요... 변화 이전의 숫자가 워낙 작으면 %는 뻥튀기 되어 보이기도 하구요. 게다가 히트 컨텐츠의 주제는 우리 서비스에서 가장 인기좋은 카테고리에, 자극적인 이미지와 카피로 구성돼 있네요. A/B 테스트를 하지 않고 배포해버렸으니 이전 버전과 컨텐츠 영향력을 비교할 수 없기도 하지만 컨텐츠의 결제 전환율5)도 3%라 평상시와 비슷한 수준입니다. 우리 이번 분기 목표는 ARPU를 높이는 것이었는데... 이 메인 페이지 개편 하는데 2달6) 정도 걸리지 않았나요 ㅠ_ㅠ...?
보람찬 각주
1) 실제로 메인페이지는 전임 기획자의 결과물이 그저 마음에 들지 않는다는 이유로 이루어졌습니다. 의사결정이란게 항상 그렇게 합리적이지만은 않아요. 물론 개편 효과를 전일 대비 지표로만 판단할 수는 없습니다. WoW, MoM 비교가 필요하고, 본문에서 기술했듯 여러 변인을 통제해야 합니다.
2) UV당 평균 CTR(Click through Rate)이라고 표현했지만, 그로스(Growth)목표에 따라 UV수 내에서도 유입채널 또는 레퍼러별로 쪼개어 CTR을 구하거나, 활성 사용자 그룹별, 컨텐츠 카테고리별 CTR을 구하는 등 잘게 쪼개는 것이 더 필요할 때가 있습니다.
3) 그로스(Growth)목표에 따라 정규분포에서 벗어나는 지표를 제외하여 비교하거나, 상하단 위치별 스크롤 도달에 따른 지표를 분석해야 할 때가 있어요.
4) 특정 페이지로 사용자를 유입하고자 할 때, 노출 채널별로 URL 뒤에 서로 다른 파라미터를 명시적으로 붙여주어 추척할 수도 있고 (주로 광고), 직전 페이지 위치를 알 수 있는 레퍼러 URL을 참고하는 경우도 많아요.
5) 메인 페이지로의 이동이 꼭 이탈이라고만 볼 수는 없지만, 결제 전환이 사용자 행동의 최종 목표라면 사용자를 목표한 경로에서 벗어나지 않도록 서비스 동선을 개선하는 것이 중요합니다. 그렇지만 완전히 서비스를 이탈해버리는 것 보다는 빙빙 돌게 하면서라도 서비스 체류를 높이는 시도를 할 수 있지요.
6) 가치가 상대적으로 낮은 페이지나 영역은 A/B 테스트의 기회가 주어지지 않을 수 있습니다. A/B테스트도 투자이고 서스테이닝 비용이 들어가는 일이니까요.
데이터를 홍보(보고)용으로 사용하면 재미가 없습니다
위 이야기는 아래의 사례를 조금씩 섞었습니다. 가볍게 작성됐지만 비일비재하게 일어나는 일이기도 해요.
전일대비 500% 증가 등 기준이 모호한, 잘못 계산된(%, 배, %p), 또는 언뜻 보기에 과장된 숫자 보고
KPI와 무관한, 눈에 보이는 단일 페이지의 무의미한 보여주기식 느낌적 느낌 개편
데이터 상호 의존성이나 외부 환경의 변화를 고려하지 않은 평균, 누적, 클릭수, 히트수 등 허수의 홍보
서비스기획과 프로덕트 매니징에 관심 있으신 분이라면 Data-Driven 의사결정을 해야한다는 이야기는 이미 많이 들으셨을 거에요. 데이터를 분석 할때도 목적에 따라 여러가지 접근법이 있습니다. 그리고 어떤 접근이 되었든 데이터를 통해서 1) 현황을 구체적으로 알고, 2) 문제를 진단하고, 3) 가설을 검증 하거나 4) 목표를 달성하기 위한 인사이트를 발견하는 것이 중요합니다.
설명적 분석: PV, UV, 누적지표와 같이 허수로 무시당할 수 있는 지표를 포함하지만, 저는 이 지표를 최대한 잘게 쪼개어 그 구성을 끝까지!! 파내려가는 것을 두고 설명적 분석으로 안내하고 싶습니다. 제대로 팔 수만 있다면 상당한 인사이트를 제공합니다. 정확한 현황을 알기 위한 분석이니 미리 로그를 잘 기획하고 준비해 두어야 합니다.
관계 비교 분석: 기간, 사용자 그룹, 서로 다른 서비스 영역, 서로 다른 컨텐츠 카테고리, 체류시간 등을 변수로 두고 지표를 비교해보는 방법입니다. 컨텐츠 및 서비스 변경 시 영향도를 파악하거나, 이미 활동 중인 사용자 그룹별로 행동 특성을 파악하거나, 행동의 인과관계를 파악하기 위해 분석합니다. A/B테스트도 많이 활용됩니다. 지표의 비교 분석은 시간이 오래걸리고, 변수가 많아지면 상당히 힘이 들기 때문에 비교 목적을 잘 설정해야 합니다.
린 분석: 린 이라는 말을 쓰고싶지 않았지만 적절한 단어가 생각나지 않네요. AARRR로 대표되는, 그로스(Growth) 목표에 따른 사용자 행동 변화를 분석해보는 방법입니다.
빅데이터 분석: 직관적으로 보이지 않는 숨겨진 패턴이나 유의미한 패턴을 찾아내는 방법입니다. SQL과 BI Visualization 신공이 필요할 수도 있습니다. 이정도 데이터가 쌓여있는 서비스가 매우 그리워요... 'ㅅ'
데이터로 흥하는 PM 라이프를 응원하며, 또 재미있는 에피소드로 찾아오겠습니다!
