힙데비 챌린지, 리딩앤
진짜 시작해 버렸다
개요
진짜 과제가 시작됐다. 나의 프로덕트를 데이터 관점으로 접근해보기. 어떤 프로덕트를 다루게 될까 궁금했는데 나의 프로덕트라니! 어찌보면 당연한 것 같기도 하고. 그 전에 힙데비 챌린지가 어떤 시스템으로 돌아가는지 간략하게 작성해 봤다.
1. 매주 월요일마다 Case study가 올라온다.
'내가 그 프로덕트의 PM이라면 어떻게 할까?' PM에 빙의한다. 그리고 고민한다.
2. Case study에 대한 나의 답변을 매주 토요일 밤 12시까지 해당 채널에 제출한다.
다른 데비들이 올린 답변을 읽어보고 다시 내 답변을 이터레이션 해 본다. 서로 피드백을 주고 받는 것도 굿!
3. 마감 기한 다음 날인 일요일, 그 주의 베스트 힙데비와 모범 답안(Best practice)이 공개된다.
격주 일요일마다 Case hacking study를 진행해 Case를 자세히 톺아보는 시간을 갖는다.
4. 인증에 성공할 때마다 디파짓 7,500원씩 환급 받는다. (Best pick으로 뽑히면 10,000원 지급)
환급은 8주차가 종료된 후, 한꺼번에 지급된다.
이번 과제를 통해 내가 얻은 것 (Lesson Learned)
- 가설 검증 시, 변수 범위 설정에 대해 인지하게 됨.
- 프로덕트에 대한 이해도가 아직 부족하다는 것을 인지하게 됨. (겉핥기식이었다..)
- 비즈니스모델에 대한 이해가 부족하다는 것을 인지하게 됨.
내 프로덕트를 데이터 관점으로 접근해보기
리딩앤은 어떤 서비스인가
1. 세계적으로 유명한 영어책 베스트셀러를 e-book 러닝 콘텐츠로 제공한다.
옥스포드 대학출판부 ORT, 콜린스, 펭귄 랜덤 하우스, 밥 북스 등이 있다.
2. 3개월~1년까지 다양한 기간과 난이도 옵션으로 이용할 수 있는 이용권을 판매한다.
일반 사용자를 대상으로 하는 B2C, 학교나 학원 등 기관을 대상으로 하는 B2B.
3. 이용권 등록 후, APP/Web으로 이용 가능하다.
컨텐츠를 다운받아 PC, Tablet, Mobile로 사용 가능하다.
내가 리딩앤 PM이라면?
1. 나의 프로덕트에서 해결하고자 하는 사용자의 Pain Point는 무엇인가?
2. Pain Point를 제대로 해결하고 있는지 확인하기 위해 지표를 본다면, 어떤 지표를 확인할 것이고 그 이유는 무엇인가? (최대 5개 이내)
3. 5개 지표 중 가장 중요한 것은 무엇이며, 그 이유는 무엇인가?
4. 제일 중요한 1개의 지표를 선택했다면, 그 지표를 상승시키기 위한 가설은 무엇인가? 그리고 그 가설을 어떻게 검증할 수 있을까?
1. 리딩앤의 Pain Point는 무엇일까?
Pain Point란, 말 그대로 불편한 포인트다. 사용자가 표면적으로 혹은 잠재적으로 지니는 불편한 포인트를 의미한다. UX/UI 디자인은 사용자를 이해하는 것 그리고 그들의 (대부분)잠재적 Pain Point를 찾는 것에서부터 시작된다. 데이터로 명확하게 확인할 수 있는 것을 골라야 가설 검증도, 확인할 지표 수식도 쓰기 수월할 것 같아 리텐션과 관련된 것을 꺼냈다.
Pain Point: 유저가 구독 기간동안 앱을 꾸준히 접속해 학습할 수 있도록 돕는 장치가 없다.
이유 1.
이용권 구매 및 등록 후, 리텐션이 1개월 이상 지속되는 경우는 10% 미만이다. 3개월 이상인 경우는 약 1%, 6개월 이상인 경우는 거의 0%에 수렴하는 값이다.
이유 2.
"아이들이 도중에 흥미를 잃어 더이상 책을 보지 않아요. 이용권 기간을 일시 정지 하고 싶어요." 이용 기간 일시정지 관련 CS가 1:1 문의 중 절반 이상이다. 이외에도 정기적인 서포터즈 간담회에서도 꾸준히 등장하는 VOC이다.
성인인 나도 꾸준히 하는 걸 힘들어 해서 돈까지 걸고 이러고 있는데 하물며 아이들은 오죽할까. 나도 어렸을 때 집중력 3분이었음. 근데 게임은 12시간도 넘게 집중해서 한 걸 보면 역시 재밌어야 오래 할 수 있는 것..
Solution: 이용권 등록 직후, 등록 완료 페이지에서 지속적인 학습을 돕는 '맞춤 알림 서비스'를 제공한다.
방법 1.
등록 완료 페이지에서 '맞춤 알림 서비스' 신청 버튼과 안내 텍스트를 제공한다.
e.g. 아이의 연령과 학습 난이도에 따라, 커리큘럼대로 학습 알림을 제공해 드려요.
방법 2.
신청 시, 난이도 및 기간 옵션에 따라 학습 푸시알림을 제공한다. (주 n회, 시간, 횟수 등)
e.g. "15:00 / 지금은 Pop pop pop을 읽을 시간! Kipper와 Biff는 공원에서 어떤 일이 있었을까요?"
2. Pain Point를 제대로 해결하고 있는지 확인하기 위해 지표를 본다면, 어떤 지표를 확인할 것이고 그 이유는 무엇인가요? (최대 5개 이내)
지표 1
서비스 버튼 클릭율 = '서비스 신청하기' 버튼을 클릭한 수 / 이용권 등록 완료 화면에 진입한 수
서비스 버튼을 인지하는지 UI/UX 관점에서의 파악을 하기 위함.
지표 2
서비스 신청 전환율 = 신청 완료 수 / 서비스 신청 페이지에 진입한 수
전환율과 함께 이탈율을 파악하기 위함.
지표 3
서비스 신청 페이지 내 이탈지점
신청 페이지 내 어느 지점에서 이탈이 일어나는지 파악하기 위함.
지표 4
푸시알림 클릭율 = 푸시알림을 클릭해 앱에 진입한 수 / 푸시알림을 받은 전체 수
클릭율이 높은 시간대와 문구를 파악하기 위함.
지표 5
각 옵션별 선택 수
옵션별 가장 선호도가 높은 값을 확인하여 사용자의 니즈 파악.
3. 가장 중요한 지표를 선정하고, 선정 이유 작성해보기
지표 2
서비스 신청 전환율 = 신청 완료 수 / 서비스 신청 페이지에 진입한 수
이유
서비스에 대한 니즈를 파악할 수 있기 때문이다. 이용권 등록을 마친 사용자가 해당 Solution을 인지하는 것 + 필요로 하는가?에 대한 검증이 선행되어야 한다고 생각했다.
4. 제일 중요한 지표를 선택했다면, 그 지표를 상승시키기 위한 가설은 무엇인가요? 그리고 그 가설을 어떻게 검증할 수 있을까요?
중요한 지표(서비스 신청 전환율)를 상승시키기 위한 가설
서비스를 신청한 사용자는 신청하지 않은 사용자보다 1개월, 3개월, 6개월 리텐션율이 높을 것이다.
검증 방법
A/B 테스트를 활용한다.
A그룹: 서비스를 신청하지 않은 사용자
B그룹: 서비스를 신청한 사용자
테스트 진행 기간: 1개월
검증 방법: A그룹과 B그룹의 리텐션율을 비교한다.
A그룹과 B그룹은 동일한 시리즈 콘텐츠(동일한 난이도와 기간을 가진 상품)를 이용하고 있으며, 동일한 연령대이다.
도비님에게 받은 피드백
매스프레소 DA 보경님이 남겨주신 소듕한 피드백. 같은 교육 업계 종사자로서 흥미를 갖고 보셨다고 해서 무척 반가웠다. 어렵거나 잘 모르겠는 점에 초점을 맞춰 작성해 주신 아주아주 소중하고 감사한 피드백이다.
대조군을 두는 A/B 테스트 없이 위 가설을 증명하기 위해서는, 더 복잡하고 데이터 정제에 시간이 드는 대안 방법론들이 필요합니다. (quasi-experiments 라고 합니다) 지금 짚어주신 연령대/기존 구독 행동/기존 리텐션을 통제시키는 아이디어를 주셨는데, 이 방법론들이 “matching” 이라고 불립니다. 어려운게 당연! 저도 넘 어렵습니다. 제가 사용해본 방법론 중, 비교적 간단했고 결과를 보기에도 명쾌했던 matching 방법론을 추천드릴게요! “look-forward matching” 입니다.
유진님이 작성해주신 검증 방법에서 예를 들어서 변형해보면,
1. 대조군: 2021.09 ~ 2021.10 기간 동안 최초로 서비스를 사용한 유저
2. 처리군: 2021.07 ~ 2021.08 기간 동안 최초로 서비스를 사용한 유저
3. 가정: 대조군은 처리군보다 미래에 서비스를 사용할 유저로, 미리 생각할 수 있는 변수(연령대/기존 구독 행동/기존 리텐션 통제)와 생각할 수 없는 변수(unobserved confounding)가 모두 동일한 특성을 가질 것이다.
4. 비교하는 지표: 두 그룹의 2021년 7월 이전까지의 리텐션 차이(BEFORE) => 2021.07 ~ 2021.08월 동안의 리텐션 차이(AFTER) 가 얼마나 더 벌어지는 지 비교. (이 방법은 difference-in-differences 라고 불립니다)
