101 Sherpa: 2022년 1월호
위대한 팀, 제품, 서비스를 만들기 위한 클래스101의 여정
'월간 셰르파(Sherpa)'는 클래스101 사내 뉴스레터 101 Sherpa 중에서 월 단위로 중요도가 높은 실험과 소식들을 큐레이션 하여 발행하는 콘텐츠입니다. 월간 셰르파를 통해 클래스101이 어떻게 일하고 있는지, 어떻게 세상을 다채로운 색으로 칠해가고 있는지 그 여정을 널리 알리고자 이 프로젝트를 시작했습니다. 월간 셰르파는 매월 마지막 주 월요일에 브런치를 통해 만날 수 있습니다.
- 클래스101 컬쳐팀으로부터 -
셰르파(Sherpa, ཤར་བ)는 고산지대의 필수 동반자로 에베레스트를 오를 때에 길을 안내하는 역할을 맡는다. 클둥이들을 위한 뉴스레터가 무사히 에베레스트를 오를 수 있게 돕는 셰르파가 되길 바라며 101 Sherpa 프로젝트를 시작했다.
· 목차 ·
1. Breaking Changes
- 프라임 구독 유도 실험1. 클메님! 기다리고 있었습니다. 온보딩 코스 제대로 모시겠습니다.
- 프라임 구독 유도 실험2. 구독은 타이밍! 루틴 홈에서 바로 구독 유도하기
2. 다시 듣는 101 MHz
- 사랑하는 일을 찾아가는 시간 (필림 작가님)
Breaking Changes
오픈소스에서 하위 버전과 호환되지 않는, 다시 말해 이전 버전들의 코드들이 동작하지 않는 버전업이 있다는 걸 의미하는 용어다. 우리에게는 클원에 없던 위대한 기능들, 말 그대로 서비스의 변화무쌍함을 공유하는 곳이 바로 Breaking Changes!
프라임 구독 유도 실험1.
클메님! 기다리고 있었습니다. 온보딩 코스 제대로 모시겠습니다.
101루틴은 크리에이터의 동영상 콘텐츠를 통해 운동, 명상, 재테크 등 카테고리별로 자신이 습관을 형성할 수 있도록 돕는 자기관리 서비스입니다. 이 루틴 서비스는 클래스101의 무제한 수강가능 월정액 '101프라임'에 추가되는 혜택입니다.
101프라임에서는 클래스메이트분들이 101프라임 루틴을 더 많이 만나고 구독하게 하려면 어떻게 해야할지 고민했습니다. 그리고 아래와 같은 실험 가설을 통해 A/B 테스트를 진행하고, 증명해 보기로 했어요.
실험 배경
루틴의 핵심 경험은 바로 짧은 영상 콘텐츠인데요. 이를 위해 클래스메이트님이 통과해야하는 중간 퍼널이 길지는 않을까? 이 퍼널을 확 줄여주면 구독률이 더 상승하지 않을까? 하는 고민에서 시작되었습니다.
실험 가설
루틴을 경험하지 않은 유저에게 루틴 온보딩 플로우를 보여주면 구독 전환율이 높아질 것이다.
아래 영상은 설계된 온보딩 플로우를 구현해본 건데요. 이 화면은 루틴 영상을 한 번도 경험하지 않은 유저를 대상으로 A(노출)/B(미노출) 하였습니다. 최종적으로 프라임 루틴의 구독까지 도달하는 걸 지표 삼아 실험할 예정입니다.
온보딩 페이지 하단 CTA 클릭시 보이는 플로우실험 결과
약 10일 동안 실험을 진행한 결과 9,600명이 넘는 유저가 A/B 테스트 대상이 되었습니다. 이번 온보딩 플로우 실험 결과를 요약하면,
- 온보딩 플로우를 경험한 B그룹(온보딩 플로우 노출 그룹)은 루틴 영상을 더 많이 보고, 영상을 완료하는 숫자도 개선되었습니다.
- 그러나 상세페이지 혹은 이어보기 섹션에서 Day1을 눌러야만 구독을 할 수 있는 현재의 워크플로우에서는 루틴 구독 혜택 페이지를 보지 않게 되어 구독 완료 수치는 오히려 더 낮아졌다는 결론을 내렸습니다.
위와 같은 실험 결과를 통해 어쩌면 클래스메이트들의 핵심 경험을 빠르게 시키는 것이 중요한 게 아닐 수도 있으며, 구독을 유도하는 '타이밍'이 더 중요한 요인일 수도 있다는 새로운 가설을 세우게 되었어요. 이에 대한 후속 액션으로 진행한 두 번째 구독 유도 실험을 소개합니다.
프라임 구독 유도 실험2.
구독은 타이밍! 루틴 홈에서 바로 구독 유도하기
실험 배경
기존에 루틴을 구독하려면 앱에서 무료 영상(튜토리얼, day 0)을 완강해야 day 1이 열리고, day 1이 열린 것을 확인한 후에야 구독할 수 있는 화면이 뜨는 구조였습니다. 이렇게 여러 단계를 거쳐야 구독에 대한 알림을 할 수 있었던 퍼널을 단축하기 위해서 아래의 화면 예시와 같이 2가지의 배너 노출 방법으로 구독 유도 실험을 할 예정입니다!
실험 가설
루틴 홈에서 구독을 유도하면 유저들이 더 많이 구독할 것이다.
대조군/실험군
- a-기존안 : 루틴 홈에서 구독할 수 있는 장치가 노출되지 않은 기존의 화면
- b-개선안 : 루틴 홈에서 구독할 수 있는 *플로팅 배너 노출
- c-개선안 : 루틴 홈에서 구독할 수 있는 고정된 배너 노출
*플로팅 배너? 스크롤을 내려도 항상 같은 위치에 존재하는, 유저의 편의성을 높이는 배너
구독 유도 실험 화면 예시) a-기존안 / b-개선안(플로팅 배너 노출) / c-개선안(고정된 배너 노출)실험 결과
최종 실험 결과 b-개선안(플로팅 배너 노출)이 Winner로 선정되었습니다. 플로팅 구독 띠배너는 Primary Metric(실험 효과 검증 지표)인 루틴 구독 전환율과 루틴 구독 혜택 페이지 뷰 전환율에서 개선된 결과가 나왔는데요, 이는 플로팅 배너가 있는 경우 더 많은 유저를 구독시키고 구독 혜택 페이지를 더 많이 보게 만들었음을 의미합니다.
- 루틴 홈 뷰 대비 루틴 구독 전환율이 +133.82% 개선됨
- 루틴 홈 뷰 대비 루틴 구독 혜택 페이지 뷰 전환율이 +275.02% 개선됨
다만, 플로팅 띠배너가 있는 경우, Secondary Metric(실험 모니터링 지표)인 루틴 상세 페이지뷰, 루틴 day 시작에서 다소 하락한 수치를 보였습니다. 이는 플로팅 구독 띠배너를 본 유저는 루틴 상세 페이지를 적게 보고, day 재생을 적게 한다는 것을 의미합니다.
- 루틴 상세 페이지뷰가 -8.21% 하락함
- 루틴 day 재생 시작이 -7.26% 하락함
하지만 최종 방문 리텐션이 그룹간 크게 차이가 없다는 점과 다음 루틴을 계속 보게 만드는 루틴 day 재생 완료 지표까지 봤을 때, 하락 추이가 크리티컬 하지 않다고 판단하여 2022년 2월 8일부터 실험군B-플로팅 구독 배너로 전체 적용하였습니다.
다시 듣는 101 MHz
101MHz는 매주 금요일 오후 5시, 클래스101 오피스에서 짧게 방송하는 사내 프로그램입니다. 시즌4에서는 크리에이터분들의 사랑하는 일에 대해 대한 이야기를 들려드립니다. 모든 사람들과 현장의 분위기를 함께 나누고 싶은 마음에 모든 방송은 무편집본으로 업로드합니다.
101 Sherpa를 읽고 모두가 사랑하는 일을 하며 사는 세상을 함께 만들고 싶은 마음이 생겼다면 언제라도 연락을 주세요. 우리는 셰르파를 구독할 당신과 함께 세상을 더욱 다채롭게 색칠하고 싶습니다.
클래스101 채용
(전체 체용) https://jobs.class101.net/
(Tech 채용) https://jobs.class101.net/tech
