사용자의 클릭, 어떻게 유도할 수 있을까?
홈 콜렉션 UI A/B 테스트
안녕하세요! 라프텔 프로덕트 디자이너 매미입니다.
지금부터 홈 콜렉션 UI A/B 테스트의 실험 과정과 이에 배운점을 공유해보려고 합니다.
배경
실험 배경은 '어떻게 하면 사용자가 더 많은 작품을 클릭하고 재생할 수 있을까?' 였습니다.
라프텔은 애니메이션 전문 OTT 서비스이기 때문에 사용자가 작품을 발견하고 재생하는 과정에서 작품 자체의 매력과 더불어 그 매력에 대한 흥미를 극대화 시키는 것 또한 UX적으로 고민하고 있습니다.
가설
'홈 화면에 노출되는 *콜렉션의 UI에 변화를 주면 클릭률과 재생전환율에 차이가 있지 않을까?' 라는 가설을 세웠습니다.
*콜렉션이란? 같은 타이틀로 묶여 있는 작품 모음을 말합니다. (예시.라프텔에서만 볼 수 있는 독점 작품! 등)
라프텔 App/Web 홈 화면의 콜렉션들목표
현재 홈 콜렉션 평균 클릭률을 상승시킬 수 있는 UI를 실험을 통해 찾아 적용하기 입니다.
테스트 시안
아이디어를 모은 후, 최종적으로 테스트에 쓰일 시안 3가지를 제작하여 기준안과 비교하였습니다.
기준안과 테스트 시안들기준안 : 현재 홈 화면에 운영하고 있는 가로 키비주얼 이미지
A안
- 세로 키비주얼 이미지 + 타이틀 로고로 가시성 강화
- 짧은 줄거리 정보로 작품 흥미 올리기
B안
- Full 사이즈 가로 키비주얼 이미지 + 타이틀 로고로 가시성 및 콘텐츠 집중도 강화
- 짧은 줄거리와 장르 정보로 작품 흥미 올리기
C안
- 작품의 하이라이트 영상 자동 재생으로 흥미 올리기
- 작품의 분위기를 간단하게 파악할 수 있도록 장르 정보 노출
실험 준비
최적화된 실험을 위해 각 팀마다의 요구사항을 정리하고 작업을 요청하는 일들이 필요했습니다.
제가 속한 프로덕트 디자인팀은 시안 작업 외에도 콜렉션을 어떤 위치에 고정 시키면 좋을지, 콜렉션 내 작품 순서 를 어떻게 정렬하면 좋을지 등을 고민하였습니다.
개발팀과는 주로 처리 방식에 대한 논의가 이뤄졌습니다. 특히, C안의 경우 자동으로 하이라이트 영상이 재생되기 때문에 스크롤(가로/세로)에 따라 재생이 언제 시작되고 언제 끝나는지 등에 대한 정의가 필요했습니다. 또한, 앱 사이즈 및 성능 등의 이슈를 고려했을 때 가급적 서버에서 작업을 하는게 좋겠다는 프론트엔드의 의견을 수용하여 실제 개발 시에는 백엔드의 도움을 많이 받았습니다.
그로스팀과는 지표에 관해 이야기를 나눴습니다. 먼저 프로덕트 디자인팀 내에서 어떤 지표를 보면 좋을지 미리 고민하고 그로스팀의 피드백을 받아 좀 더 뾰족하게 수정해나갔습니다.
마지막으로 운영팀과의 협업이 매우 중요했습니다. 천상계 애니 덕후 분들이 모여있는 운영팀의 오랜 세월 다져진 빅데이터x전자두뇌(?) 그리고 그로스팀의 정량적 데이터를 기반으로 테스트에 쓰이기 적당한 작품을 추려냈습니다. 그리고 일부 작품들의 경우 키비주얼 이미지를 자유롭게 쓰기에 다소 어려움이 있고 사용을 하더라도 콘텐츠 제공사의 감수와 가이드를 지켜야하는 등 여러 제약이 있었기 때문에 이 부분을 운영팀에서 적극적으로 리뷰 해주고 긴밀히 많은 도움을 주었습니다.
실험 조건
실험 조건은 다음과 같습니다.
기간 : 2023.08.28 ~ 2023.09.11 약 2주 간 진행
플랫폼 : 안드로이드 & iOS 앱
대상자 : 멤버십 사용자 중 해당 콜렉션에 노출된 사용자
성공 지표
지표 설정은 그로스팀과 함께 진행하였으며 다음과 같습니다.
1. 핵심 지표 : 콜렉션 노출 대비 클릭률
- 현재 홈 화면의 평균 콜렉션 클릭률보다 높은 15% 이상의 수치가 나오는 것을 목표로 하였습니다.
- 클릭률을 핵심 지표로 잡은 이유는 실험의 신뢰도 측면에서 제일 정확한 지표였기 때문입니다.
2. 서브 지표 : 재생전환율
- 재생전환율은 10% 이상을 목표로 잡았습니다. 기준은 홈 콜렉션 → 작품상세 페이지 → 플레이어로 이어진 동일 세션 내 *UV로 정하였습니다.
- 재생전환율을 서브 지표로 본 이유는 재생 전환 과정에서 교란변수가 너무 많았기 때문입니다. 비즈니스적 목표만 본다면 재생전환율을 핵심 지표로 보는게 맞지만 전환에 영향을 주는 변수가 많고 그 통제 또한 쉽지 않았기 때문에 실험에 대한 신뢰도가 떨어져 서브 지표로 활용하였습니다.
*UV이란? Unique Visitor의 약자로, 순 방문자수를 말합니다. 1명의 방문자가 페이지를 여러 번 방문해도 중복을 제외하고 한 번의 방문 만을 카운트하는 것을 의미합니다.
실험 결과
안드로이드 클릭률 및 재생률 Firebase 결과
iOS 클릭률 및 재생률 Firebase 결과위 이미지는 안드로이드와 iOS의 Firebase 내용이며, 실험 결과를 요약하면 다음과 같습니다.
결론 : A안의 클릭률, 재생전환율이 가장 높다.
ꞏ 콜렉션 평균 클릭률 : A안 > 기준안 > B,C안
ꞏ 콜렉션 평균 재생전환율 : A안 > C안 > 기준안 > B안
아래에서 각각의 내용을 좀 더 자세히 살펴보겠습니다.
1. 클릭률 테스트 결과
시안별 평균 클릭률
작품별 클릭 비교안드로이드와 iOS를 합한 전체 지표 기준으로 A안의 평균 클릭률이 18.1%로 다른 안보다 훨씬 높다는 것을 알 수 있습니다. 콜렉션 안에 각각의 작품별 클릭도 비교해보았는데요, 전반적으로 A안이 다른 안들에 비해 높습니다.
그리고 두 번째 작품부터 기준안과 A안의 클릭 숫자가 튀는 것을 볼 수 있습니다. 이는 기준안과 A안이 한 화면에 2개의 작품이 노출되고 B안과 C안은 1개의 작품이 노출되기 때문이라 볼 수 있는데, 이를 통해 ‘한 화면 안에 노출되는 작품 수가 많아야 클릭률이 높아진다’라는 인사이트를 얻을 수 있었습니다.
기준안과 비교해보면 C안도 수치가 나쁘지 않지만 두 번째 작품의 클릭이 기준안과 A안에 비해 적기 때문에 콜렉션 측면에서 보자면 한 화면에 작품 노출이 많이 되는게 클릭률에 더 효과적이라고 짐작해볼 수 있습니다. 물론, IP파워와 섬네일의 영향도 무시할 수 없습니다. 예를 들어 두 번째 작품이 IP파워가 낮거나 섬네일이 매력적이지 않았다면 다른 결과가 나왔을 수도 있습니다. 하지만 기준안과 A안을 통해 전체적으로 미뤄봤을 때, 한 화면 안에 노출 작품 개수가 많은 것이 클릭 유도에 비교적 긍정적인 영향을 끼친다고 해석 해볼 수 있을 것 같습니다.
2. 재생전환율 테스트 결과
시안별 평균 재생전환율
작품별 재생 비교안드로이드와 iOS를 합한 전체 지표 기준으로 A안의 평균 재생전환율이 4%로 다른 안보다 높다는 것을 알 수 있습니다.
콜렉션 안에 각각의 작품별 재생도 A안이 다른 안들에 비해 높은 걸 볼 수 있습니다. 그리고 클릭률과 마찬가지로 두 번째 작품에서 기준안과 A안의 재생 숫자가 튀는 것을 볼 수 있습니다.
한 가지 특이한 것은 평균 클릭률에선 C안이 기준안보다 낮았지만 재생전환율은 오히려 높다는 점입니다. 이를 통해 클릭률과 별개로 ‘하이라이트 영상이 재생전환에는 좀 더 긍정적 영향이 있다’라는 인사이트를 얻을 수 있었습니다.
실제 프로덕트에 적용하기
프로덕트 적용 예시위 실험 결과에 따라 최종적으로 A안이 선택되었습니다.(짝짝)
실제 프로덕트 적용을 위해 해당 안을 어떻게 활용할 지에 대한 논의를 하였고, 작품 선정과 리소스 등을 고려하여 이 부분은 운영팀이 주도하는 게 더 옳다고 판단하여 운영팀의 재량으로 넘기게 되었습니다.
이후 저는 개발자와 함께 태블릿 시안을 추가로 작업하고 이제 이 실험은 후련한 마음으로 떠나보내게 되었습니다.(…인 줄 알았지만 예상치 못한 문제가 발생하여 마지막에 다시 소환된 건 비밀)
배운점
1. 한 단계 더 들어가 숨겨진 인사이트를 찾자.
실험 결과로 한 화면에 여러 개의 작품을 노출 시키는 것이 클릭과 재생을 높이는데 좀 더 효과적일 수 있다는 인사이트를 얻었고 이를 통해 또 다른 가설을 만들어낼 수 있었습니다.
단순히 A안의 형태가 지표가 더 좋구나! 에서 끝나는게 아니라 이것이 왜 좋았을지 한번 더 깊게 사고해보는 과정이 필요하다는 것을 깨달았습니다.
2.실험에 영향을 줄 수 있는 것들을 좀 더 면밀히 검토하자.
A/B 테스트 시 잘 놓치는 부분 중 하나가 바로 다양한 변수를 고려하지 않는 것입니다.
사실 실험의 초반 주제는 라프텔 오리지널 작품들을 사용자들에게 더 잘 알리는 것이였습니다.
그래서 홈 화면에 오리지널 콜렉션을 다양한 레이아웃으로 실험하여 재생 전환율을 높이는 것이 최종 목표였습니다. 하지만 라프텔 오리지널 작품들의 특정 장르에 대한 큰 호불호, 작품 시청 모수 등의 문제로 생각보다 실험 리스크가 커서 진행할 수 없었습니다.
디자인 뿐만 아니라 장르, IP파워, 노출 위치 등 여러가지 요소들이 최대한 공평해야 실험 결과가 오염되지 않기 때문에 좀 더 명확한 가설 검증 및 리소스 낭비를 막기 위해서 앞으로는 사전에 실험에 영향을 줄 수 있는 것들에 대해 충분한 검토를 해야겠다는 생각을 했습니다.
3. 피드백을 빈번히 주고 받는 것은 언제나 옳다.
2번의 문제를 알게된 것은 그로스팀의 피드백 덕분이였습니다. 중간중간 계속 실험에 대한 피드백을 주고 받았고 리스크 발견 후 슬프지만 결국 처음부터 다시 시작해야만 했습니다. 하지만 결과적으로 봤을 때, 좀 더 신뢰도 높은 실험을 진행하게 되어 리소스 낭비를 줄이고 유의미한 인사이트를 얻을 수 있었습니다.
4.과정 역시 결과만큼 중요하다.
아무래도 가시적으로 수치가 보이다보니 결과 데이터 그 자체에 집중하는 경우가 있는데, 결국 이러한 데이터가 프로덕트에 유의미하게 활용이 되려면 좋은 가설 수립, 알맞은 목표와 지표 설정, 다양한 피드백 등 그 과정이 매우 중요하다고 생각합니다. 설령 실험 결과가 좋지 않았다고 하더라도 위의 1,2,3번과 같은 과정이 있었기에 그것만으로도 매우 의미가 있었을거라 생각합니다.
마무리하며
제가 예상한 결과와 달랐고 또 생각보다 개선안의 수치 차이가 뚜렷하여 여러모로 놀란 실험이였습니다.
저는 사실 숫자와 친하지 않은터라 지금도 여전히 A/B 테스트를 맡게 될 때면 막연히 데이터에 대한 두려움이 깔려있고 아직도 그 과정에서 이해가 안될 때도 많아 여러 번 물어보고 어버버하곤 합니다.
하지만 결국 이러한 과정이 쌓이고 쌓여 실험에 대한 저만의 생각과 요령이 어느샌가 자연스레 생기게 되리라 믿습니다.
A/B 테스트는 단발성으로 끝나는게 아니라 지속적인 반복을 통해 제품을 끊임없이 개선 시키는 것이 궁극적인 목표라고 생각합니다. 저희는 이제 이 A/B 테스트 결과를 바탕으로 또 다른 실험을 준비해보려고 합니다.
읽어주셔서 감사합니다!
Written by Maemi, Laftel Product Design Team
라프텔 프로덕트 디자인팀의 다른 이야기
