에어비앤비와 여기어때의
A/B테스트
코드스테이츠 PMB17 5W3D
시작하며
UXUI 디자이너로 재직했었던 지난해. 나는 A/B 테스트를 경험해 볼 뻔(?) 했던 적이 있었다. 온보딩 화면을 제작하는 일이었는데, 우선 방향을 팀장님께서는 우리 프로덕트의 분위기와 주 타겟 층에 맞는 스타일로 A안을 나는 정말 깔끔하고 심플하지만 어떻게 보면 심심해 보이는 스타일로 B안을 하기로 정했었다.
디자인이 완성되고 나서 디자인팀끼리 논의를 했을 때는 프로덕트 분위기에 맞는 A안이 더 좋다는 의견으로 정해졌고 이어 제일 협업을 많이 하고 있는 서비스 기획팀에도 의견을 물어봤다.
기획팀에서도 A안이 좋다고는 했지만 "우리 같이 IT에 찌들어 있고(?) 이해도가 있는 사람들은 A안이 좋겠지만, 일반적인 사람들이 보았을 때는 B안이 쉬워 보여서 B안을 선택할 것 같다."라고 추가 의견을 주었다.
사용자들에게 직접 A/B 테스트를 진행했으면 좋았겠지만 그렇게까지 할 일정이 없었고 사용자에게 테스트할 만큼 중요한 사안은 아니여서 대신에 전사 직원들에게 어느 시안이 나은지 물어보기로 했다.
그렇게 개발팀, 마케팅팀, 광고팀, 영업팀 심지어 CTO님, CSO님까지 등 50여 명에게 물어보러 돌아다녔다. 그리고 결과는 처음에 우리가 예상한 A안이 아닌 B안이 낫다는 의견이 많은 것으로 나타났다. 정말 기획팀의 추가 의견처럼 디자인팀, 기획팀 등 IT에 관련된 팀이 아닌 영업, 광고팀 등 오퍼레이팅 파트 쪽에서 압도적으로 B안을 선택했었던 것이다.
많은 사용자에게 물어본 건 아니지만, 기획팀의 가설이 어느 정도 맞은 결과였고 작업을 진행한 사람들의 방향과 외부의 시선은 다를 수도 있다는 걸 느꼈었다.
그때는 정말 야근도 많이 하고 바빴던 때라 A/B 테스트까지 진행하지 않고 내부에서 빠르게 결정한 것에 대해 다행이다라고 생각했지만, 지나고 보니 그때 직접 테스트를 경험해봤으면 하는 아쉬움이 있다.
이번 포스팅에서는 그때의 아쉬움을 생각하며 다른 프로덕트들의 A/B 테스트 사례를 알아보고 인사이트를 얻어보는 시간을 갖도록 하겠다.
여기어때와 에어비앤비
여기어때와 에어비앤비. 두 플랫폼 모두 사용자들에게 쉽고 빠르게 알맞은 숙소와 서비스, 여행 경험을 제공하려는 공통의 가치를 가지고 있는 국내와 글로벌 대표 여행・숙박 플랫폼이다.
두 플랫폼 모두 일정의 예약・판매 수수료와 광고비를 중심으로 비즈니스 모델을 구축했는데, 예약을 하는 데 있어 보다 많은 사용자들이 여기어때와 에어비앤비가 의도하는 방향대로 예약을 진행하게 하기 위해 많은 고민과 실험을 진행했다.
여기 두 플랫폼이 비슷한 목적을 가지고 진행한 A/B 테스트의 과정과 그들의 예상한 대로 결과가 나왔는지, 그리고 성공과 실패를 맛보면서 어떠한 인사이트를 얻었는지 알아보도록 하겠다.
A/B 테스트
A/B 테스트란?
디지털 환경에서 전체 사용자를 대상으로
A : Control Group(대조군) / B : Experimental Group(실험군)으로
나누어 특정 UI나 알고리즘의 효과를 비교하는 방법론이다.
글로벌 여행・숙박 플랫폼 에어비앤비는 예약 가능한 빠른 날짜 정보를 시각적으로 제안하여 예약율을 높이고자 두 차례에 걸친 테스트를 진행하였다.
에어비앤비의 1차 A/B 테스트
테스트 시기
2020년 8월~9월
무엇이 문제였나?
사용자의 예약율을 더 늘리기 위해
어떻게 개선해 볼 것인가?
사용자가 예약 날짜를 선택하기 전, 예약 가능한 빠른 날짜를 표시하여 제공
가설
예약 가능한 빠른 날짜를 제공하여 정보의 가시성을 높이면 사용자들의 예약 진행율이 더 높아질 것이다.
어떻게?
사용자에게 기존 화면과 개선된 화면 두 그룹으로 나누어 배포한 뒤 결과 값을 도출하였다.
A그룹에게는 날짜 선택만 있는 기존의 화면을 제공하였고, B그룹에게는 사용자가 날짜를 선택하지 않았을 경우, 예약 가능한 날짜 정보를 검색 버튼 하단에 자동으로 제안하였다.
결과
개선안의 예약율 상승 실패, A안으로 롤백(Roll-Back)
왜?
사용자가 원하는 날짜와 기간을 추측하는 것이 어려울 수 있다는 점이다. 사용자가 원하는 날짜와 기간을 추측하여 제공한다는 것은 매우 가변적이기 때문이다.
하지만, 에어비앤비는 여기에서 멈추지 않고 약 5개월 뒤 다시 한번 테스트를 진행한다.
에어비앤비의 2차 A/B 테스트
테스트 시기
2021년 1월
무엇이 문제였나?
사용자의 예약율을 더 늘리기 위해, 1차 테스트의 문제점을 보완
어떻게 개선해 볼 것인가?
사용자가 예약 날짜를 선택하기 전, 예약 가능한 빠른 날짜를 표시하여 제공
가설
예약 가능한 빠른 날짜를 제공하여 정보의 가시성을 높이면 사용자들의 예약 진행율이 더 높아질 것이다.
어떻게?
사용자에게 기존 화면과 개선된 화면 두 그룹으로 나누어 배포한 뒤 결과 값을 도출하였다.
이번에도 A그룹에게는 날짜 선택만 있는 기존의 화면을 제공하였고, B그룹에게는 날짜 선택 타이틀과 버튼 사이에 가장 빠른 예약 가능 날짜 정보와 링크를 추가한 화면을 제공하였다.
결과
개선안의 예약율 하락, A안으로 롤백(Roll-Back)
왜?
사용자에게 제공한 정보, 가이드 라인이 오히려 기능성을 해친다.
인사이트
에어비앤비는 하나의 가설에 대해 2차례에 걸쳐 테스트를 진행해 보았다. 에어비앤비는 날짜 선택란에 정보를 제공하여 사용자를 *넛징하려 하였으나, 사용자들이 의도하는 대로 선택하지 않았다. 또한 정보의 가시성을 높여 제공하는 것이 유용한 UXUI라 생각하는 보통의 통념을 깬 의외의 결과가 나타났다.
*넛지란?
'팔꿈치로 쿡쿡 찌르다'라는 뜻의 '넛지 Nudge'는 일종의 자유주의적인 개입, 혹은 간섭이다. 즉, 사람들을 바람직한 방향으로 부드럽게 유도하되, 선택의 자유는 여전히 개인에게 열려있는 상태를 말한다.
여기어때의 A/B 테스트
국내 정상급 여행・숙박 플랫폼 여기어때 역시 특가 할인 기간에 사용자들이 예약을 하도록 약 2주간 A/B 테스트를 진행하였다.
기간
2주
무엇이 문제였나?
숙소 상세 페이지에서 사용자는 미리예약 특가 정보를 확인하기 어렵다.
어떻게 개선해 볼 것인가?
사용자가 설정한 날짜가 특가 기간 내에 부합하지 않을 시 미리예약 특가 기간 정보를 리스트 UI로 노출해 사용자가 날짜 변경하도록 유도
가설
사용자는 여행 일정을 설정하는 캘린더 UI 근처에 미리 예약 날짜의 특가 정보를 본다면, 유연한 일정 계획을 가지고 있는 사용자는 미리예약특가 기간 중 하나의 기간으로 날짜를 변경해 예약할 것이다.
어떻게?
솔루션의 방향을 정리한 뒤 두 그룹으로 나누어 실험을 진행했다.
먼저 A그룹에게는 특가 정보를 확인할 수 없었던 기존의 화면을 제공하고, B그룹에게는 사용자가 설정한 날짜에 따라 특가 정보를 시각적으로 표현한 화면을 제공해 보았다. 예를 들어 사용자가 설정한 날짜가 특가 기간에 부합하지 않을 경우, '미리예약 특가 기간' 리스트를 표출하고, 사용자가 설정한 날짜가 특가 기간과 부합하는 경우엔 Badge를 활용하여 할인, 혜택을 확인할 수 있다는 시각적 장치를 추가하였다.
결과
절반의 성공
인사이트
2주간의 실험을 통해 예약 전환율과 총매출액이 크게 상승하여 해당 기능을 성공적으로 런칭한다. 하지만 '사용자가 숙소 예약을 좀 일찍 하도록' 하려는 목적은 달성하지 못했다. 매출액은 상승했지만, 날짜 변경률이 크게 오르지 않았으며, 미리예약 특가가 적용되는 날짜로 변경했는지도 불분명했다.
그리고 데이터가 들어오는 구조를 구체적으로 준비하지 않아 예약 전환율과 매출액 상승이 실험의 결과로 볼 수 있는지 어려웠다. 각 상황에 따라 노출되는 화면 데이터를 구분하여 수집하지 않고 일괄적으로 수집했기 때문에 예약 전환율과 매출액 상승이라는 성공을 추측할 수밖에 없었다.
하지만 'B그룹 사용자에게 제공한 상황 2의 솔루션이 사용자들을 명확하게 넛징하게 되어 구매전환율과 매출액 상승에 기여했다'라는 결론을 얻을 수 있었다.
내가 여기어때의 PM이라면?
여기어때의 A/B테스트에서 예약 전환율과 매출액이 크게 상승하였지만, 의도한 대로 날짜 변경률이 오르지 않았고 또 미리예약 특가 적용되는 날짜로 변경되지 않았다는 문제가 있었다.
우선 여기어때의 '기존 개선안이 정보가 명확하게 보이지 않아 사용자에게는 흘러가는 정보로 인식되어 예약 날짜를 변경하지 않았다'라는 가설을 세워보았다.
이를 개선하기 위해 할인을 받을 수 있는 기간을 여기어때의 포인트 컬러를 사용하여 명확하게 보이도록 제공하고, 예약 변경 화면에서 사용자가 선택한 날짜만 표시하는 게 아니라, 특가가 적용되는 기간을 함께 표시하여 사용자가 해당 날짜를 인지할 수 있도록 개선한다면, 여기어때가 의도하는 특가 적용 날짜로 예약을 진행하고 또 날짜 변경률을 높일 수 있을 것이다.
출처 :
#PMB #PM부트캠프 #코드스테이츠 #프로덕트매니저 #PM #서비스기획자 #기획자 #IT #에어비앤비 #Aribnb #여기어때 #여행 #여행플랫폼 #A/B테스트 #AB테스트 #스타트업 #테스트 #인사이트 #수치 #어플리케이션 #App #앱 #모바일 #비즈니스모델 #플랫폼
