엄마가 좋아, 아빠가 좋아?
국내·외 AB테스트 사례
[코드스테이츠 PMB 16기] W5D3
＃ 아래의 내용은 코드스테이츠 PMB 16기 과정 중 일간 과제를 수행하기 위한 학습 과정입니다.
＃ 목표 : 국내·외의 A/B 테스트 사례를 살펴보고, 프로세스와 테스트 이유를 고민해보기
✔ 시작하며
많은 기업들은 제품을 출시하기 전, 혹은 출시하고 나서 제품을 고도화하기 위해 많은 인력과 시간이 투입됩니다. 그만큼 리스크가 큰 문제이기 때문에, 의사결정에 앞서 다양한 검증 절차를 거치게 됩니다.
검증을 거치지 않고 진행을 하게 된다면, 고객의 편의를 위해서 만든 기능이 오히려 고객에게 불편함을 주어 제품이 외면받는 상황까지도 치달을 수 있습니다.
잠깐 생각해볼까요? 카카오톡의 프로필 사진을 변경하기 위해서 지금은 메인 화면에서 바로 터치 몇번으로 바꿀 수 있지만, 메인 화면에 사진은 보이지 않고 설정에 들어가서 여러 단계를 거쳐 바꿔야 한다면, 아마 고객들은 프로필 사진을 바꾸려하지 않을지도 모릅니다. 어쩌면 이런 기능이 있는지도 모를 수도 있습니다.
이처럼 기업은 서비스를 이용하는 고객들의 행동 데이터를 기반으로 리스크를 줄일 수 있는 테스트 방법을 고민하게 되었고, 오늘 이야기 할 A/B 테스트는 가장 대표적인 제품 검증 방법론입니다.
오늘은, A/B 테스트를 공부하는 과정에서 국내와 해외 사례를 살펴보면서 어떻게 기업이 프로덕트를 개선해 나갔는지 살펴보도록 하겠습니다.
✔ 국내 A/B Test Case study : 제페토
네이버z '제페토'＃ 어떤 서비스인가?
네이버z에서 운영하는 가상현실 서비스. 아바타 제작 외에도 소셜 기능 등 다양한 서비스 제공하고 있습니다.
＃ 왜 이 서비스인가?
이전에 메타버스와 관련된 글을 작성한 적이 있었는데, 그 당시 자료를 조사하는 과정에서 제페토에 대해 알게 되었습니다. 오늘 A/B테스트 사례 서치 과정에서 우연히 제페토 사례를 알게 되어 해당 서비스를 선택하게 되었습니다.
✔ 해외 사례 : Etsy(엣시)
미국 핸드메이드 제품 이커머스 플랫폼 'Etsy'＃ 어떤 서비스인가?
미국의 핸드메이드 제품을 중개하는 이커머스 플랫폼입니다. 한국에서는 아이디어스가 Etsy를 롤모델로 성장하고 있습니다.
＃ 왜 이 서비스인가?
PM을 준비하기 전, 글을 쓰는 에디터로 취업하는 것을 정말 심각하게 고민한 적이 있었습니다. 그 과정에서 뉴스레터나 아티클 등의 서비스를 제공하는 기업들이 아래로 스크롤이 계속 이어지는 무한 스크롤 기능이 적용된 프로덕트가 많다는 것을 알게 되었습니다. 요즘은 이커머스 프로덕트나 기타 다른 서비스에도 적용되어 있는 경우가 있는데, Etsy의 사례는 실패 사례로서 좋은 반례가 되지 않을까 싶어 가져오게 되었습니다.
✔ 제페토 A/B 테스트 살펴보기
(국내 기업의 A/B 테스트 사례가 생각보다 인터넷에 공개되있는 부분이 많지 않아 자료조사에 많은 어려움이 있었습니다.)
＃ 어떤 것을 개선할 것인가?
네이버 제페토 내 크루라는 커뮤니티에 참여한 사용자들끼리 이용하는 대화방 관련 A/B테스트
＃ 테스트 배경
대화방 상단에 띄울 수 있는 공지기능을 출시했는데, 고객들은 정작 이 기능을 사용하지 않았습니다.
그래서 공지 기능이 있다는 것을 고객들이 인지한다면, 공지 기능을 사용하지 않을까 판단하고 제페토 팀은 아래와 같은 가설을 설정하였습니다.
＃ 가설 설정
공지 예시를 팝업으로 노출시키면, 고객들의 공지 기능 사용률이 높아질 것이다.
＃ 테스트 방식 및 평가 지표
제페토 팀은 채팅방 내 공지 예시 팝업을 노출시키는 그룹과 그렇지 않은 그룹으로 구분하고, 아래와 같이 예시 팝업을 노출시키는 기능을 추가했습니다. 그리고 평가 지표는 고객들이 공지를 생성하는 숫자로 평가 지표를 설정했습니다.
＃ 테스트 결과 및 분석
A/B 테스트 결과 공지 예시 팝업을 노출시키지 않은 그룹(좌)에 비해 팝업을 노출 시킨 그룹이 공지 생성 수가 약 38% 증가하는 결과를 보이게 되었습니다.
추가적으로 제페토 팀은 팝업 노출 시 예측하지 못한 다른 부분에 부작용이 있는 지 추가적인 검토를 진행했습니다. 다른 부분에서 부정적인 영향을 끼치는 데이터가 발견되지 않았고, 그 결과 모든 고객에게 데이터를 노출시키기로 의사결정을 할 수 있었습니다.
(이와는 별개로, 테스트 기간이나 어떤 기준으로 그룹을 나누었는지에 대한 정보는 게속 서칭을 진행해도 나오지 않아 따로 적지 못했습니다.)
✔ Etsy A/B 테스트 살펴보기
＃ 어떤 것을 개선할 것인가?
Etsy 웹사이트 내 많은 상품들을 고객들에게 보여주는 방식을 개선하는 A/B 테스트
＃ 테스트 배경
Etsy의 고객경험을 담당하는 Dan Mckinley는 무한 스크롤을 도입하여 검색경험을 개선하고자 했습니다.
그는 (핸드메이드)이커머스 플랫폼에서 고객들에게 더 빠르고, 더 많은 결과(상품 표기)를 제공하는 것이 고객 경험에 도움이 된다고 판단했습니다. 이미 시장에 구글과 핀터레스트라는 성공사례가 있었기 때문입니다.
이러한 내용을 바탕으로 아래와 같은 가설을 설정했습니다.
＃ 가설 설정
검색 결과 페이지 노출 방식을 무한 스크롤 방식으로 변경하면,
고객들이 많은 상품을 볼 수 있기 때문에, 상품에 대한 구매 전환율도 높아질 것이다.
＃ 테스트 방식 및 평가 지표
** 일반적으로 콘텐츠가 많아서 한 화면을 넘어가는 경우, 이를 처리하는 방식은 크게 2가지 입니다.
1. 페이지네이션(Pagination) : 페이지를 넘버링하고, 그 페이지마다 콘텐츠(상품)을 나누어 노출하는 방법
2. 무한 스크롤(Infinite Scroll) : 고객이 아래로 스크롤을 하면 제한 없이 계속 콘텐츠(상품)가 노출
Etsy(엣시) 팀은 두 그룹으로 나눠서 한 그룹은 페이지네이션을 적용하고, 나머지 한 그룹은 무한 스크롤을 적용하여 상품을 표시하는 방식을 A/B 테스트로 진행했습니다. 평가 지표로는 고객이 스크롤을 내려서 본 상품(항목) 갯수, 그리고 클릭 수, 상품 즐겨찾기, 그리고 구매율까지 설정했습니다.
Etsy 웹사이트 내 무한 스크롤(Infinitie scroll) 적용 전(좌), 적용 후(우)＃ 테스트 결과 및 분석
구글과 핀터레스트의 좋은 성공사례를 레퍼런스 삼아 진행했음에도 불구하고, Etsy의 A/B 테스트 결과는 매우 부정적인 결과가 나타났습니다.
무한 스크롤을 적용한 그룹에서 고객들이 본 상품 갯수는 50% 감소했고, 클릭 수 또한 약 11% 감소했습니다. 즐겨찾기는 약 8%, 가장 중요한 구매율은 무려 22.6%가 감소하는 결과를 얻게 되었습니다.
A/B 테스트를 진행한 McKinley는, 해당 기능을 개발하고 테스트하는데 몇개월 간 리소스가 투입되었지만 원하는 결과를 얻지 못했다고 밝혔습니다. 테스트 이후 그는 이 테스트의 문제점을 스스로 회고하기도 했습니다.
"사용자는 페이지 당 더 많은 결과를 원한다."
"사용자는 더 빠른 결과를 원한다."
그는 이 두 전제가 틀린 것 같다고 이야기했습니다. 그리고 그는 인터뷰 당시, 실패한 이유를 잘 모르겠다고도 밝혔습니다. 각 항목은 이미 구글과 핀터레스트, 메타와 트위터에서도 성공한 가설이지만, 저 두가지를 한번에 적용하니 문제가 발생한 것이기 때문입니다. 아마 이는 Etsy를 이용하는 고객 특성에 대한 이해 부족에서 발생한 문제일 수도 있을 것입니다.
(이와는 별개로, 테스트 기간이나 어떤 기준으로 그룹을 나누었는지에 대한 정보는 게속 서칭을 진행해도 나오지 않아 따로 적지 못했습니다.)
✔ 생각
＃ 본인이 해당 서비스의 PM 이라면 어떻게 실행(개선)을 해볼 수 있을지 고민하여 작성하도록 합니다.
저는 항상 성공보다 실패에서 많은 것을 배운다고 생각하기에, 오늘은 Etsy의 사례를 기반으로 이야기해보려고 합니다. Etsy가 실패한 가장 큰 요인은, 자사 고객이나 프로덕트에 대한 분석 없이 외부의 성공사례를 레퍼런스 삼아 자사 프로덕트에 적용하려고 했던 안일함이 가장 큰 실패의 이유이지 않을까 싶었습니다.
2005년 블리자드의 World of Warcraft(WOW)가 출시되고 엄청난 성공을 이룬 뒤, 게임업계에서는 WOW의 특징을 참고했던 게임들이 출시되었지만, 예외없이 WOW의 아류작이라는 이름으로 불리며 철저히 실패했습니다. 자사 게임에 대한 컨셉과 명확한 타겟 설정, 게임만의 고유한 특징을 고민하지 않고 그저 외부의 성공을 보고 비슷한 것을 만들었기 때문이었습니다.
앱(또는 웹) 서비스도 그렇습니다. 다른 프로덕트가 성공할 수 있었던 장점(특징)을 분석과 통찰없이 우리의 서비스에 적용해서는 안됩니다. 작은 것 하나에도 고객들은 부정적인 경험을 제공할 수 있기 때문입니다.
제가 Etsy의 PM이라면, 동일한 A/B 테스트를 한다는 전제하에 대조그룹과 실험그룹을 설정하는데 있어서 조금 더 공을 들이고 나눠서 2회를 진행할 것 같습니다. Etsy를 이용하는 코어고객과 비 코어고객을 나누고, 각각 동일한 A/B테스트를 진행하면 총 2회 진행하게 될 것이고 조금 더 세분화된 결과값을 얻지 않을까 고민해보았습니다.
#PM부트캠프 #코드스테이츠 #AB테스트 #코호트분석 #고객세분화 #제페토 #Etsy
