사용자에 온전히
집중하는 A/B 테스트
* 지금부터 제가 쓰는 이야기는 소설입니다.
주니어 디자이너의 에피소드
나는 일개 주니어 디자이너다. 아직 경험은 부족하지만 주어진 과제가 주어졌을 때, 누구보다 열심히 할 자신이 있다. 1주일 전에 우리 앱의 제품 상세 페이지에 들어갈 CTA 버튼을 디자인해보라는 과제를 받았고 오늘 발표하는 날이다. 내가 할 수 있는 모든 리서치를 하고, 내가 지금까지 익힌 모든 스킬들을 써서 밤을 새워가며 만들었다. 최종 컬러는 노란색으로 해서 발표를 했다.
팀장님이 이렇게 얘기했다. "요즘 대세는 빨간색 아닌가?"
...
그리고 그날 나는 늪에 빠져 헤어나올 수 없었다.
정량적인 데이터가 없을 때 우리는 어떻게 의사결정을 내리고 있는가?
UX, UI디자인에 있어서 사용자에 대한 데이터가 없다면, 많은 의사결정은 지위가 높은 사람의 명령에 의해, 말빨이 더 좋거나, 목소리가 큰 사람에 의해 이루어지게 되는 것이 사실입니다.
위 에피소드는 사실 남의 이야기가 아닌 저의 이야기이기도 합니다. 저는 이전 직장 중 한 군데는 사용자에 대한 정량적인 데이터를 거의 수집하지 않는 곳이었습니다. 그렇다보니 제가 어떤 UX 또는 UI에 대한 의사결정을 할 때 지위가 높은 팀장님이나 누군가와 의견 충돌이 생길 때에 제가 내밀 수 있는 총알이 많지 않았습니다. 제가 아주 확신이 있는 옵션이 아니라면 무언가 아니다 싶어도 많은 경우 윗단의 제안을 받아들였지요.
정량적인 데이터가 없다면 객관적인 지표가 아닌, 위계질서라든지, 정치적인 요소 등 다른 요인에 의해 의사결정이 이루어질 수 있습니다.
A/B테스트가 있었다면 어땠을까?
오늘 제가 하고 싶은 이야기는 UX디자이너에게 너무나 도움이 될 수 있는, 즉 윗단에 들이밀 총알을 만들 수 있는 A/B 테스트입니다. 저는 위 사례에서 주니어 디자이너에게 A/B테스트를 할 수 있었다면 그림이 많이 달라졌을 거라고 생각하는데요. 먼저 A/B테스트가 무엇인지부터 살펴보겠습니다.
A/B 테스트란 무엇일까?
A/B 테스트는 기존에 출시되어 사용되고 있는 서비스, 제품의 어떤 화면 또는 기능에 대해 몇가지를 변경해보고 기존의 버전과 업데이트된 버전을 동시에 업로드하여 사용자로 하여금 사용하도록 하는 것입니다.
출처: OptimizelyA/B 테스트를 하기 위해서는 Control과 Variation의 개념을 알아야 합니다.
Control은 우리나라에서는 통제 변인이라고 부르는데, 기존 시장에 출시되어 있는 버전이라고 보면 되는데요. Variation은 조작변인으로 기존 버전 대비 어떤 변화를 주어 그 변화가 목표를 달성하는데 기여를 하는지, 또는 오히려 퍼포먼스가 떨어지는지 보기 위함입니다. 참고로, Variation에서 너무 다양한 변화를 주기보다는 한가지씩 변화를 주고 데이터를 뽑아보는 것 중요한데요. 한번에 여러가지 변화를 준 후 A/B 테스트를 돌리면 어떤 변화가 퍼포먼스에 영향을 주었는지 알기 어렵기 때문이다.
A/B 테스트를 하는 이유
A/B 테스틑를 하는 첫번째 이유는 가설에 대한 빠른, 그리고 지속적인 검증을 위한 것이며, 궁극적으로 이를 통해 사용자에 대해 배우기 위함입니다. 디자이너가 만드는 모든 사용자경험(UX)은 결국 사용자로부터 제품을 사용하고 데이터 또는 피드백을 받을 때까지 가설이라고 볼 수 있습니다. 이렇게 하면 사용자가 좋아할 거야, 구매율이 올라갈 거야, 회원가입자 수가 올라갈 거야.. 와 같이 목표 설정에 도달할 수 있을 것이라고 가정을 하는 것이지요. A/B 테스트는 Optimize나 Optimizely 와 같이 코딩의 거의 필요없이도 해볼 수 있는 좋은 툴들이 생겨서 빠르게 진행을 해볼 수 있어서, 앞서서 이야기한 가설을 빠르게 검증하는데 사용해볼 수 있습니다.
두번째 이유는, A/B 테스트는 정량적인 데이터, 즉 정확한 수치를 우리에게 가져다 준다는 것입니다. 두 가지 (또는 그 이상의) 옵션을 놓고 모두 테스트를 돌려본 다음, 각각 퍼포먼스가 어떤지 정확한 수치를 받아볼 수 있습니다. 이 부분이 결국 위 주니어 디자이너 사례에서 그 상황에 대해 180도 달라질 변화를 줄 수 있는 부분인데요. 노란 색과 빨간 색을 놓고 테스트를 돌린다면 어떤 것이 목표를 달성하는데에 있어서 더 좋았는지 살펴볼 수 있습니다. 그리고 이를 의사결정에 활용하는 것입니다.
180도 달라진 주니어 디자이너의 에피소드
(앞부분 동일) 나는 노란색을 CTA 버튼에 활용해보자고 제안을 했다.
팀장님이 이렇게 얘기했다. "요즘 대세는 빨간색 아닌가?"
나는 당황하지 않고 대답했다.
"팀장님, 빨간색 역시 유의미한 결과를 낼 수 있다고 생각합니다. 하지만, 제일 중요한 것은 사용자이기 때문에 노란색과 빨간색 두가지를 놓고 A/B 테스트를 돌려본 다음 의사 결정을 내리는 것이 어떨까요?"
그렇게 우리는 A/B 테스트를 돌렸고, 노란색이 빨간색을 사용했을 때보다 우리 제품에 대한 구매율이 10% 높은 것으로 나타났다.
결국 사용자가 승자.
여기서 주니어 디자이너가 팀장을 이긴 것이 그렇게 중요하지는 않다고 봅니다. 사업의 성공은 제품의 성공에 달려 있고, 제품의 성공은 우리가 얼마나 사용자의 니즈에 맞추어 그들의 문제를 해결해주고 있는지, 그리고 그에 맞는 사용자 경험을 제공하는지에 달려있습니다. 디자이너는 사용자를 위해 존재하는 것이지요. 그렇기 때문에 A/B 테스트를 통해 사용자에게 더 좋은 경험을 제공해줄 수 있었다는 것에 초점을 두는 것이 중요한 것 같습니다.
A/B 테스트는 위계질서나 정치요소가 아닌 사용자로부터 얻는 정량데이터라는 객관적인 지표로 우리가 의사를 결정할 수 있는 너무나 좋은 툴이라 소개를 해봤습니다.
글쓴이 '에릭'을 소개합니다.
5년 전 유학을 와서 지금은 뉴욕의 테크 Scene에서 프로덕 디자이너로 일을 하고 있습니다. 두 아이의 아빠이며 육아와 요리, 교육에 관심이 많습니다.
'비전공자/입문자를 위한, 쉽게 이해하는 UX디자인 개론' 강의를 하고 있습니다.
UX를 전공하지 않은 분들, 학교에서 UX를 막 공부하기 시작한 분들이 쉽고 재미있게 UX분야에 입문할 수 있도록 첫 걸음을 안내해 드립니다. UX와 UX디자인의 본질에 대해서, 10년 동안 이 업계에 있으면서 기업, 스타트업, 테크 회사, 프리랜서 등 다양한 곳에서 실무를 하며 얻은 노하우를 알려드리고 있습니다. UX디자이너가 어떻게 사용자에 대해서 배우고, 문제를 발견하며 솔루션을 만들어나가는지, 개발자, PM과는 어떻게 협업을 하는지 경험들을 대방출합니다.
탈잉에서는 위의 UX디자인 개론 강의를 1:1로 과외를 진행하고 있습니다.
SNS를 통해 UX, UI 공부를 위한 정보를 공유하고 있으며, 오픈 1:1 채팅을 통해 상담 문의를 받고 있어요.
인스타그램 / 페이스북 / 1:1 카톡 오픈채팅
