[코드스테이츠 PMB 8기] 5주차 Daily project (4)
해당 글은 <A/B테스트를 위한 오늘의집 랜딩페이지 분석>과 이어지는 내용입니다 :)
이전 글에서 현재 오늘의집 인테리어시공 '랜딩페이지'를 총 8단계로 구분하며 전반적으로 살펴보고,
개선되면 좋을 부분들도 가볍게 언급했다.
그중 가장 개선되면 좋을 만한 부분을 선정해 A/B테스트 설계를 진행해 보고자 한다.
가장 개선되면 좋을 부분으로는 '간편 상담 신청' CTA라 보았다.
위 이미지에서 '노란색' 박스로 표시된 세 개의 부분이 모두 '간편 상담 신청' 페이지로 넘어갈 수 있는 CTA(글릭 버튼)이다. 이에 인테리어시공 서비스에서 가장 핵심 지표가 '간편 상담 신청' 전환율일 것이라 추측할 수 있기에 더 많은 전환이 일어나도록 '간편 상담 신청' CTA를 개선하는 것이 중요하다 생각했다.
'간편 상담 신청' 페이지로 많은 전환이 이루어지도록 유도하기 위해서는 어떻게 CTA를 바꿔야 할까?
<A/B테스트를 위한 오늘의집 랜딩페이지 분석>의 내용을 기반으로 2가지의 가설을 세워보았다.
전환시킬 부분을 강조하기 위해 여러 곳에 CTA를 배치했을 것이라 생각하지만, 개인적으로 오늘의집 화면은 한 번에 많은 정보를 담고 있다 여긴다. 그러다 보니 '간편 상담 신청'을 3개의 CTA로 강조하고 있음에도 눈에 잘 띄지 않는다.
이에 한 화면에 중복되는 서비스를 계속 노출되기보다는 가장 직관적일 수 있는 상단바 위치의 CTA를 강조시키는 것이 CTA 클릭 전환율을 높이는 길이라 본다. 그리고 플로팅 CTA를 삭제할 수 있기 때문에 화면의 복잡성도 다소 줄일 수 있을 것이다.
물론 그러기 위해서는 한 가지 조건이 있을 것 같다. 현재는 '간편 상담 신청' CTA가 놓여 있는 상단바는 스크롤을 내릴 경우 사라지게 되는 UI다. 그러나 플로팅 CTA를 없애고 상단바 CTA 버튼을 강조한다면, 해당 상단바는 스크롤 이동이 있어도 계속 고정되도록 하는 것이 중요할 것이다.
한국소비자원에 따르면 인테리어 시공 서비스에 대한 사용자들의 불만과 피해신청은 매년 증가하고 있다.
검증을 할 수 없는 비용과 계약 불이행 및 A/S에 대한 불만족, 그리고 좋지 않은 품질 사용 등이 그 이유이다.
오늘의집 사업운영 총괄 강성주 헤드 인터뷰 내용에 따르면, 애초부터 '클레임이 발생하지 않을 업체'를 고객에게 연결해 주는 것을 전략으로 삼았다. 이에 실제 오늘의집은 인테리어 업체에 대한 고객들의 리뷰 사후평가 결과를 투명하게 제공함으로써 유저 간 상호 소통 속에서 부실 업체를 선별할 수 있도록 운영하고 있다.
즉 오늘의집 측은 신뢰할 만한 업체 선정에 대한 고객의 페인포인트를 해결해 주고자 한 것이다.
그렇기 때문에 '간편 상담 신청'이라는 CTA 마이크로 카피를 보다 서비스의 신뢰성과 인테리어 업체들의 전문성을 강조하는 UX Writing으로 변경한다면 브랜딩 강화와 클릭 전환율 향상에 기여할 것이라 생각한다.
A/B테스트를 통해 더 정확한 결과와 인사이트를 얻기 위해서는 변수를 1가지로 설정하는 게 가장 이상적이다. 이에 위에서 설정한 2가지 가설 중에 한 가지에만 집중하여 A/B 테스트를 설계해 보고자 한다.
그래서 내가 결정한 A/B테스트 변수는 2번째 가설인 '전문성을 보다 강조하는 UX Writing 변경'이다.
이유를 짧게 설명하자면 우선 개선을 위한 개발 및 시간 리소스가 가장 적게 들기 때문이다.
특히 1번 가설은 디자인 변경과 함께 상단바 고정하는 작업도 필요하기 때문에 상대적으로 더 많은 리소스가 들어갈 것이라 예측하였다.
두 번째 이유로는 전반적으로 인테리어 시공 서비스에 대해 '전문성과 신뢰성'을 중시하는 사용자 니즈와 더 연관이 있는 개선 방안이기 때문이다. 결국 리모델링을 할 때 신뢰할 만한 업체를 통해 내가 원하는 스타일의 인테리어를 완수하는 것이 사용자가 최종적으로 원하는 JTBD라 볼 수 있다. CTA 마이크로 카피 변경은 작은 변화이긴 하나 근본적인 해결 방안과의 결을 같이할 때 큰 시너지를 낼 수 있다 생각한다.
이렇게 정한 가설을 시작으로
내가 '오늘의집' PM이라면 어떻게 A/B테스트를 설계할지에 대해 내용을 구체화해 보았다.
인테리어시공 CTA 마이크로 카피의
[As-is]
인테리어 시공 상담 신청으로 전환되는 CTA(버튼)의 현재 '간편 상담 신청'이라는 마이크로 카피는 상담에 대한 전문성과 신뢰성을 충분히 반영하지 못하고 있다.
변경 전 : 간편 상담 신청
인테리어시공 CTA 마이크로 카피의
[To-be]
오늘의집 인테리어시공 서비스 소개 페이지에서 사용한 '전문가'와 '1:1 코디'라는 용어들을 적용한 상담 신청 CTA의 마이크로 문구는 더 많은 상담 신청을 유도한다.
변경 후 : 전문 1:1 상담 신청
오늘의집 인테리어시공 서비스
A/B 테스트 설계내용
가설을 기반으로 목표는 '인테리어시공 서비스에 대한 신뢰도 강화'라는 정성적 목표와 '신청 페이지 클릭률 향상'이라는 정량적 목표를 함께 세웠다.
인테리어 시공은 일상에서 흔히 이뤄지는 서비스가 아니다. 그래서 너무 짧은 기간을 테스트 기간으로 설정하면 의미 있는 결과를 얻기가 상당히 어렵다고 생각했다.
이에 처음에는 한 달이라는 시간을 테스트로 잡으려 했으나, A/B테스트는 빠른 실행과 반복적인 실험을 중점으로 진행되어야 하기 때문에 2주라는 절반의 시간을 테스트 일정으로 설정했다.
여기서 하나 고려해야 할 점은 현재 시기가 '연말'이라는 점이다.
보통 인테리어 시공은 이사를 하는 경우에 많이 진행되는데, 이사는 보통 봄과 가을에 가장 많이 일어난다. 그래서 보통 연말에는 이사할 사람들이 인테리어 시공을 할 업체들을 찾아보고 계약을 할 확률이 더 높아질 수 있다고 추측할 수 있다.
더불어 최근 코로나19 발생과 집값 급등 등의 이유로 리모델링 인테리어 수요가 늘어났다는 것도 고려할 필요가 있다. 한국건설산업연구원에 따르면 2020년 인테리어 시장 규모는 41조 원으로 집계되었으며, 올해는 그 시장 규모가 60조 원을 웃돌 거란 전망을 내놓았다.
A/B 테스트 대상자를 구체화하기 위해서는 우선 인테리어시공을 이용하는 사용자의 수를 대략적으로 확인해 볼 필요가 있었다. 이에 8월에 오늘의집에서 발표한 2021년 6월까지의 시공사업 누적 계약 건수가 8,642건이었다는 점을 파악했다.
2월까지의 누적건수 5,372건을 제외하면 3월부터 6월까지, 4개월간의 계약건수는 3,270건이었다.
다소 비약적일 수 있지만 4개월 동안 비슷한 건수로 계약을 했다는 가정하에 최근 약 한 달의 평균 계약건수는 817건임을 추측할 수 있다.
이에 인테리어 시공에 관심 있는 대상자가 한 달에 약 817명이 될 것이라 가정하며,
14일 기간의 테스트 대상자 수를 약 400명으로 설정하였다. (한 달의 절반 수준)
그리고 이 400명 대상자를 선정하는 데 있어서는, 인테리어 시공에 대해 최소한의 관심을 갖고 있는 유저들을선정하는 게 좋을 것이다. 이를 판단할 수 있는 기준으로 최근 오늘의집 커뮤니티 '전문가 집들이' 콘텐츠를 북마크(스크랩)한 사람들과 '인테리어시공' 페이지의 주소 설정 및 변경을 한 사람으로 결정했다.
특히 커뮤니티 '전문가 집들이' 페이지는 인테리어시공 페이지로 연동되는 업체들의 사진이 올라오는 곳이다. 그렇기 때문에 해당 페이지 내 콘텐츠를 관심의 표기로 북마크(스크랩)한 사람들은 인테리어시공에 관심이 상대적으로 높을 것이라 여길 수 있을 것이다.
또한 여기서 함께 생각해 본 점은 바로 직전 '기간' 설정 시 언급한 '고려해 볼 사항'들이었다.
내년 봄을 위해 인테리어 업체를 선정하고자 하는 사람들이 많아질 수 있다는 연말 시기와 최근 리모델링 인테리어 수요가 늘었다는 특수한 상황이라는 점. 이를 고려했을 때 최근 더 빠른 성장세를 보여주는 오늘의집의 가장 높은 성과(계약건수)를 기반으로 대상자 수를 설정해도 큰 무리가 없을 것이라 보았다.
A/B 테스트의 성과를 측정할 수 있는 지표는 당연히 '상담 신청' CTA 버튼 클릭률이 될 것이다.
여기서 CTA 버튼 클릭률은 '상단바 CTA', '롤링 배너 CTA', '플로팅 CTA' 3가지 버튼에 대한 클릭률을 모두 합산한 것을 의미한다.
더불어 이를 비교하기 위해서는 2주씩 기간을 묶은 이전 추이와 함께 작년 연말(동일한 11~12월)의 성과를 비교해 보는 것도 좋을 것이라 생각한다.
위 내용들을 기반으로 변경한 '간편 상담 신청' CTA 개선 디자인과 그에 대한 테스트 스케줄은 다음과 같다.
A/B 테스트 디자인 시안
기존 디자인 A안의 '간편상담신청'이라는 UX Writing를 서비스의 신뢰성과 전문성을 강조하는 '전문 1:1 상담 신청'으로 변경해 B안에 적용하였다.
또한 CTA는 상단바, 롤링 배너, 플로팅 등 총 3개로 이루어져 있지만 '간편상담신청'이라는 텍스트가 작성되어 있지 않는 롤링 배너는 디자인 변경에서 제외하였다.
A/B 테스트 스케줄
2주간 이루어질 A/B 테스트의 세부 스케줄 내용은 위와 같다.
테스트 시작 일주일 전에 이해관계자들과 내용을 공유하고 회의를 진행하고자 한다. 물론 그전에 전체적인 계획에 대해 미리 공유가 진행된 것을 가정하에 기획된 내용이다. 그리고 그 협의된 내용을 토대로 테스트할 B안 디자인을 만들고 GA 등 전반적인 테스트 세팅을 마치고자 한다.
테스트 진행 기간 동안에는 테스트 모수를 유입시키기 위한 마케팅 세팅과 진행이 필요할 것이다. 그리고 지속적으로 CTA 버튼 클릭률을 트래킹 하게 될 것이다. 여기서 주의할 점은 우리가 원하는 결과가 나오지 않던, 혹은 나왔던 중간에 테스트를 그만두지 않고 계획한 대로 끝까지 2주를 채워야 한다는 점이다. 얼마든지 결과는 달라질 수 있기 때문이다.
테스트 종료 후에는 측정지표였던 CTA 클릭률을 실제 인테리어시공 페이지뷰 수와 비교하여 확인하는 것이 필요하다. 더불어 P-value 검증을 통해 테스트의 신뢰도를 측정하고 전체적인 결과를 분석하고 인사이트를 도출해 낸다. 마지막으로는 결과와 인사이트 내용을 이해관계자들과 함께 공유하며 다음 행해야 할 부분들을 계획해 나가는 것도 중요하다.
실제 A/B테스트로 유의미한 결과를 얻지 못했다 하더라도 앞으로 더 나은 가설을 세우고 나아갈 방향을 설정하는데 많은 도움이 될것이라 여긴다.
※ 참고자료
- dongA.com, 오늘의집, '집콕시대'에 월거래액 1500억, 2021.09.29, 윤우열 기자
- 연합뉴스, '집콕'에 인테리어 플랫폼 '오늘의집' 상반기 결제 역대 최대, 2021.07.27, 장우리 기자
- 전자신문, 오늘의집, 시공사업 월 거래 약 200억 돌파, 2021.08.05, 이준희 기자