실패를 통해 배우는 AB테스트
테스트가 중요한거는 알겠는데 어떻게 해야 잘할 수 있을까?
다른 사람의 마음을 읽는 일은 항상 어렵습니다. 다른 나라에 살고 있는 사람의 마음을 읽기는 더욱 어려운것 같습니다. 오늘은 해외의 유저를 대상으로한 여러번의 A/B테스트를 통해서 배운점들을 공유해보고자 합니다.
저는 한국에서 해외의 서비스를 만들고 있기 때문에 해외 유저의 마음을 더 잘알기 위해 정성적, 정량적인 방법을 사용하고 있습니다. 그 중 정량적으로 고객을 더 잘 알아가기 위해 진행하고 있는 AB테스트는, 유저에 대한 흐릿했던 많은 가설들을 더 선명하게 알아갈 수 있는 지름길 중에 하나라고 생각합니다.
우리가 목표한 지표에 닿기 위한 UX는 무엇인지 UX Writing은 무엇인지 유저에게 직접 인터뷰하지 않고 유저는 사용하면서 자연스럽게 서비스를 사용하면서 선택으로 우리에게 답을 말해주기 때문입니다.
이번 테스트는 강남언니 일본 유저가 사용하는 로그인 화면을 실험했습니다. 초기에 시행했던 AB테스트는 아래와 같은 절차를 거쳐 설계를 진행했습니다.
1차, 시행착오의 시작
문제사항 정의
마케팅을 통해서 유저를 많이 모아왔지만, 회원가입 창에서의 이탈이 많아 회원가입으로 이루어지지않는다.
가설 설정
일본 유저들은 액션을 취하려면 정보가 필요하다. 기존의 회원가입/로그인 화면(Control)에서 주는 정보의 양이 너무 적기 때문에 유저가 다운로드 한 앱이 무슨 앱인지 알 지 못하기때문에 전환이 되지 않을 것이다.
결론 도출
일본 유저들에게 회원가입 단계에서 앱에 대한 정보를 더 많이 제공해 전환율을 높이도록하자.
디자인 개선
개선된 ABC안을 만들면서 집중했던 점은 앱에 대한 정보를 다양하게 전달해주는 것이었습니다. 어떤 정보가 유저의 가입 전환율을 가장 높일 수 있을까? 라고 생각해보며 이벤트강조안(A), 앱 기능강조안(B), 앱 내용보여주기안(C)을 만들었습니다.
한가지 더 개선해보았습니다. 시작하기 버튼이 너무 다양해서 무엇을 눌러야할지 모르는 유저에게 한가지를 가장 강조해주면서 고민할 시간을 줄여준다는 가설에서 시작하여 일본에서 가장 많이 사용하는 SNS 버튼만을 강조하고 나머지 버튼의 시각적 중요도를 낮춰주었습니다.
개선된 로그인 화면이 선택받을 것이란 근거없는 확신이 있었다.신나게 실험에 들어갔습니다. 그러나 처참한 결과를 맞게됩니다. A 기존안이 가장 높은 전환률로 모두 하향평준화 되어 버린것입니다. 디자인을 개선했는데, 기존안이 더 효율이 좋다는 결론이 나오면서 디자이너는 엄청난 탄력감을 겪게되었습니다.. (Cry)
기존안이 가장 높은 전환률을 보이는 현상실험에 대해서 복기해보니, 뭔가 잘못 실험한것만 같은 생각이 들었습니다. 그래서 바로 스쿼드원들과 이번 실험에 대한 회고를 해보았습니다. 다음 실험에는 같은 실수를 반복하지 않기 위해서..!
변수가 너무 많았다.
과연 가설이 틀렸던 것이었나? 그에 대한 답은 '알 수 없었다'입니다. 유저에게 테스트할때에는 무엇이 변수인지 확실히 알려면 통제변수가 필요합니다. 이 실험은 정확히 말하면 가설이 2가지였던 것입니다. '일본 유저들은 액션을 취하려면 정보가 필요하다.' 와 '버튼이 많아서 로그인 전환이 힘들었을 것이다.'
적은 모수에 너무 많은 시안을 테스트했다.
일본 유저의 유입자체가 적어 유의미한 테스트 결과를 얻기까지 2달정도가 걸렸습니다. 결과를 얻기 까지 너무 오랜시간이 걸리니 그 중간에 마케팅의 방향성이 바뀌어 버리는 상황도 발생했었습니다. 성과를 빠르게 측정하기 위하여 2-3개의 시안을 테스트하자는 방향성이 정해졌습니다.
새로운 가설
이번 실험을 통해서 새로운 가설이 등장했습니다. '유저는 소셜로그인 버튼이 부담스러웠을 수 있다.' 유저의 정보가 성형관련 어플에서 드러날 수도있을 것이라는 우려에 거부감을 느꼈다는 유저인터뷰가 있었습니다. 일본 유저가 사용하는 대표적인 간편로그인으로 몰면 생각할 시간이 줄어 빠르게 전환될 것이라 생각한 버튼에 대한 가설이 틀렸을 가능성을 알게되었습니다.
2차, 반영의 결과
회고를 반영하여 실험을 다시 계획해 보았습니다.
버튼과 'SNS에는 공유되지 않는다'는 마이크로 카피는 제한변수!1. 제한변수
하단의 버튼 갯수, 위치, 문구를 제한하였습니다. 그리고 위에 컨텐츠만 변화를 주어
그리고 하단에는 'SNS에 공유되지 않으니 안심하세요.' 문구를 추가해주어 한번더 안심하고 전환될 수 있도록 마이크로카피를 추가했습니다.
2. 이벤트가 더 잘보이게
정보를 주는 측면에서 이전에는 이벤트가 많다! 라는 양을 강조했다면, 이번엔 강남언니에서 제공하는 이벤트가 무엇이 있는지 관심있는 이벤트를 보여주었습니다.
3. 갯수를 줄여 AB 테스트
기한을 3주로 정해두고 실험의 갯수를 줄여 유의미한 결과를 얻을 수 있도록 실험을 설계하였습니다. 이전 테스트에서 빠르고 정확하게 실험하하고 그 안에서 레슨을 얻는것이 테스트의 의미라는 교훈을 확실히 얻었기 때문입니다.
테스트 결과
로그인 화면에 들어온 유저를 세 그룹으로 나눠서 한 그룹에는 바뀐 A안(이벤트 강조안) 보여주고, 두번째 그룹에는 B안(앱 내용보여주기) 다른 한 그룹에는 기존과 동일하게 워딩으로만 노출하였습니다. 두번째 그룹이 병원을 보는 수는 기존 그룹보다 3.58% 높게 나왔습니다.
3.58%개선을 보인 A시안이 가장 높은 효율을 보였습니다.지난 1년동안 여러 테스트를 통해 유저의 가입 퍼널을 개선한 결과 회원 가입 전환률이 1년 대비 20% 상승한 결과를 관찰할 수 있었습니다.
최종 전환률은 1년전에 비해서 80%로 20%나 상승! 로그인 페이지는 유저가 가장 많이 선택하고 회원가입 A안(이벤트 강조안)이 선택되었습니다. 단순히 문구만 적혀있는 안보다 앱에 로그인 하게되면 어떤 컨텐츠를 볼 수 있는지 보여주는 안이 더 효율적이라는 것을 알게 된 실험이었습니다! 이 다음에도 유저들의 관심사 기반으로 컨텐츠를 보여줄 수 있는 실험을 계획해보고 있습니다.
욕심을 내려놓고 한가지만 물어보자
이번 테스트를 통해서 배운점은 테스트를 설계할때에는 문제상황을 명확히 설정한 뒤 가설을 날카롭게 가다듬어 한가지로 통일하는 것이 정말 중요하다는 것입니다.
공을 들여 가설을 한가지로 설정했다면 이번 테스트에서 관찰 하는 것은 그것 한가지입니다. 일정의 여유로 다른 개선을 할 수 있더라도 가설을 검증하기 위해 다른 변수들을 통제해야합니다. 많은 개선을 해내는것이 때로는 실험에서 중요한 일이 아닐 수 있습니다. '당연히..'라고 생각하면서 넣었던 변화가 테스트의 목적을 흐릴 수 있다는 것을 알았습니다.
AB테스트의 이론에 대해 모두 알고 있으실지도 모르겠습니다. A/B 테스트를 약 4달간 2번 개선해보면서 얻게된 교훈을 통해, 이 글을 읽는 여러분들 그리고 제가 다음 테스트할때 같은 시행착오를 겪지 않았으면 하는 간절한 마음으로 기록하고 공유합니다.
