실험으로 UX를 접근하는 넷플릭스

넷플릭스는 A/B테스팅을 통해 과학적으로 디자인을 접근하는 회사 중 하나다. 이와 관련해 지난 7월, DESIGNERS vs GEEKS에서 넷플릭스의 과학적인 A/B테스팅 방법과 흥미로운 사례들을 공유하는 발표가 있어 인상적인 부분을 정리해보았다.  

넷플릭스의 A/B 테스팅 프로세스

디자이너가 직관을 가지고 한 번에 완벽한 솔루션을 내놓을 거라 기대하지만 넷플릭스는 수년간 A/B테스팅을 거치며 디자이너뿐만 아니라 PM, CEO의 직관도 틀릴 가능성이 많다는 것을 배웠다.

실험은 가설과 함께 시작한다. 비즈니스 목표와 연결되는 사용자 행동의 변화를 가설로 두고 현재 디자인을 통제 조건(control experience)으로, 다음에 비교할 테스트 디자인들(variation)을 만든다. 몇 만 혹은 몇 백만의 사용자를 대상으로 각 디자인을 노출하며 결과 데이터를 모은다.

통제조건과 실험 조건

그러고 나서 비즈니스의 목표를 유념하여 최종 승자를 선택한다. 승자는 전체 프로덕트에 적용되고 동시에 다음 실험의 또 다른 통제 조건으로 실험이 이어진다.

이런 방법으로 넷플릭스에서는 현재 수 천 개의 테스트가 동시에 진행되고 있다. 실험적 접근을 통해 지금의 넷플릭스의 사용자 경험(UX)이 만들어졌다고 볼 수 있다.

사용자의 니즈와 비즈니스 목표의 균형 잡힌 결과물, 첫 화면  

몇 년 전 '가입하기 전 첫 화면에서 꼭 보고 싶은 1가지가 무엇인가'에 관한  온라인 설문조사를 진행했고 40%가 넘는 사용자들이 작품 목록을 보고 싶다고 답했다. 따라서 회원들에게만 제공했던 작품 카탈로그를 비회원에게 보여주면 가입자가 증가할 것이라는 가설을 세웠다.

실험 당시의 기존 첫 화면 vs 카탈로그를 보여주는 새 첫 화면

새로운 디자인을 만들고 나서 인터뷰를 진행했을 때 사용자들은 카탈로그가 있는 첫 화면을 보자마자 “제가 원하던 것이에요”라고 말했으나 5번에 걸친 A/B테스팅 결과, 기존 화면에 비해 가입률이 현저하게 떨어지는 걸 확인했다. 다시 관찰해보니 사용자들은 가입하기를 누르는 것이 아니라 스크롤하며 작품들을 탐색했고 특정 작품을 찾다가 없으면 실망하기도 했다. 결국 검색, 내비게이션 같은 인터랙션이 필요 없는 디자인을 만들었고, A/B 테스팅을 통해 가입률이 확실히 늘어나는 것을 확인했다. 이 디자인은 전체 프로덕트에 적용되었고 사용자 니즈와 비즈니스의 목표를 만족시키는 균형 잡힌 결과물로 자리 잡았다.

넷플릭스의 현재 첫 화면

첫 번째 아이디어에 집착하지 않은 메인화면

자동차 디자인에서 컨셉카가 가능성을 제시하며 실제 개발의 영감을 주는 소스를 제공하듯 넷플릭스에서도 경계를 탐색하며 가능성을 보는 것을 중요하게 생각한다.

1년 전, 넷플릭스 메인화면을 새롭게 디자인할 때 두 가지 디자인 축으로 '적극성 - 수동성 / 차별화 - 통일'을 세웠다. 이를 바탕으로 넓게 탐색하며 많은 디자인 작업물이 나왔고 테스팅을 통해 어떤 디자인이 사용자에게 의미 있는지 찾아가기 시작했다.

적극적이면서 통일성을 갖춘 디자인

수동적이면서 차별화된 디자인

실험을 통해 최종적으로 채택된 아이디어는 첫 번째 아이디어가 아닌, 축의 경계까지 탐색하며 여러 발견을 조합한 결과물이었다.

최종적으로 채택된 메인화면 (중간 위치)

넷플릭스에서 보통 최종 솔루션은 항상 첫 아이디어가 아닌 경계를 탐색하며 만들어낸 수많은 디자인을 테스트하고 종합한 결과물이다. 넷플릭스 디자이너들은 첫 번째 아이디어에서 멈추지 않고 최대한 경계까지 많은 디자인을 탐색하며 사려 깊은 디자인을 만들기 위해 노력한다.  

실험 마인드를 지닌 디자이너

넷플릭스 디자이너들은 디자인 결과물을 실험의 관점으로 바라보는 것이 가장 중요하다고 주장한다. 마치 과학자처럼 자신들의 디자인을 언제나 실험하는 넷플릭스의 과학적 접근법은 작업물을 만들 때마다 또 다른 가능성을 탐색하게 만든다는 점에서 디자이너의 직관을 자극하고 더 유용한 디자인을 만들게 할지도 모르겠다. 넷플릭스가 강조하는 실험 마인드를 지닌 디자이너는 그래서 많은 시사점을 안겨주는 듯하다.