가치 있는 A/B 테스트 가설을 세우기 위한 방법
예시로 살펴보는 가설 트리(Hypothesis Tree) 모델
A/B 테스트를 최대한 효과적으로 진행하기 위해서는 좋은 가설이 필요합니다. 그런데 어떤 가설을 검증해야 최선의 결과를 만들 수 있을지 다소 막막할 때가 있습니다. 오늘은 어떤 문제를 풀고자 할 때 직관적으로 떠오르는 가설을 바로 테스트하기보다, 여러 기회 영역을 포착하고 구조적으로 가설을 세워보는 방법을 소개해보고자 합니다.
저자는 소셜 네트워크 플랫폼 예시와 함께 '가설 트리(Hypothesis Tree)' 모델을 활용하는 방법을 쉽게 설명합니다. 어떻게 보면 매우 간단한 모델이지만, 생각의 틀을 제공해준다는 점에서 의의가 있습니다.
Solve Your Product Problems with the right Experiments — Dennis Meisner
2020.10.7 / 원문 (링크)
아래와 같은 소셜 네트워크 뉴스 피드에 글을 올리는 사람의 수를 증가시키려면 어떻게 해야 할까요?
Newsfeed from an example Social Network Application (Image by Tom Springall)아마 다음 예시처럼 한두개의 좋은 아이디어 또는 가설이 바로 떠오를 것입니다.
- 뉴스피드 상단에 크리에이티브한 입력 필드를 보여줘 글을 작성하도록 한다.
- '글 작성' 버튼을 스크린 하단에 추가해 더 많은 사용자들이 글을 올리도록 한다.
이제 가설은 다 세웠으니 실험에 들어가면 되겠지- 라는 생각이 드신다면 스스로에게 한번 질문해보세요.
지금 세워둔 가설이 최선인가요?
완전히 다른 관점에서 더 나은 방법으로 문제를 풀 수는 없을까요?
가설은 모든 실험의 핵심입니다. 가설을 기반으로 실험을 통해 무엇을 학습할지, 그리고 어떻게 실험을 진행할지 결정됩니다. 정말 가치있는 가설을 찾는 것은 어려운 일이긴 하지만, 다음 세 단계를 따라간다면 올바른 방향으로 가설을 설계해볼 수 있습니다.
1) 달성하고자 하는 목표를 정의한다.
2) 정보와 근거자료를 모은다.
3) 가설 트리(Hypothesis Tree)를 활용해 가설을 세운다.
처음 제시했던 소셜 네트워크 플랫폼 예시를 통해 각 단계에 대해 자세히 살펴보도록 하겠습니다. 기본 전제는 소셜 네트워크 플랫폼의 핵심은 컨텐츠인데, 현재 글을 올리는 사용자들의 수가 감소하고 있다는 것입니다.
1) 목표 정의
올바른 가설을 도출하기 위해서는 반드시 목표를 잘 정의해야 합니다. 어떤 지표를 통해 성공 여부를 측정할 것인지 명확히 정해두면 가설의 방향을 올바르게 설정할 수 있습니다. 소셜 네트워크를 예로 들면 다음과 같이 목표 지표를 설정해볼 수 있습니다.
목표 : 월간 글을 올리는 사용자 수를 높인다.
2) 정보 탐색
다음 단계는 문제와 관련된 정보와 근거자료를 모으는 것입니다. 이를 통해 어떤 방향으로 가설을 발전시켜야 할지에 대한 힌트를 얻을 수 있습니다. 이전 분석이나, 몇달 전에 했던 AB 테스트, 정성적인 인사이트나 리서치 자료 등 모든 정보는 도움이 될 수 있습니다.
다음의 정보를 얻었다고 가정합시다. (물론 이 정도는 이 단계에서 봐야할 정보들의 극히 일부입니다)
- 인터뷰에 따르면 사용자들이 커뮤니티에서 인정받고 싶기 때문에 글을 올린다.
- 사용자들은 댓글을 자주 남기지 않는다. (글 37개에 한번 정도)
- 댓글을 작성해 업로드까지 이어지는 비율은 73%다.
- 첫번째 글에 댓글이 달린 사용자가 두번째 글을 올릴 확률은 84% 더 높다. (좋아요와 같은 반응을 받았다면 24%)
3) 가설 설계
궁극적으로 우리가 하고자 하는 것은 목표 달성에 기여할 만한 '검증 가능한 가설'을 설계하는 것입니다. 제 경험 상 넓은 범위에서 찾기 시작해 점점 좁혀가는 것이 좋습니다. 이렇게 하면 가능한 모든 관점에서 문제를 살펴볼 수 있기 때문인데요.
이를 위한 프레임워크가 바로 가설 트리(Hypothesis Tree)입니다. 가설을 설계하는 단계는 크게 a) 기회 영역 파악 b) 가설 설계 c) 가설 다변화의 세 단계로 나누어볼 수 있습니다.
Hypothesis tree to structure your inception process (Image by Author, based on R. King et al.)3-a) 기회 영역
가설 트리는 먼저 지금까지 얻은 정보와 인사이트를 활용해 기회 영역을 정의하는 것에서 시작합니다. 이 영역에서 목표 달성에 기여할 만한 중요한 개선점을 찾아낼 수 있습니다. 예시로 돌아가보면 댓글, 리액션, 그리고 글 노출을 결정하는 알고리즘을 기회 영역으로 정의할 수 있습니다.
3-b) 가설 설계
각 기회 영역을 깊이 들어가 봅시다. 어떤 변화를 통해 목표 지표를 움직일 수 있을까요? 댓글 영역을 보면, 댓글 업로드 비율이 상대적으로 높았다는 것을 고려해 다음과 같이 가설을 설계해볼 수 있습니다.
- 가설 1 : 댓글 작성을 제안하면 더 많은 사용자들이 댓글을 남길 것이다.
- 가설 2 : 뉴스피드에 처음 두개의 댓글을 보여주면 더 많은 사용자들이 댓글을 남길 것이다.
3-c) 다변화
마지막으로, 이 가설이 어떻게 AB 테스트를 위한 구체적인 형태로 만들어질 수 있을지 생각해봅시다. 많은 경우에, 가설을 실험에 적용할 수 있는 다양한 방법이 존재합니다. 따라서 사용자에게 새로운 경험을 제공하기 위해 여러 버전의 디자인을 설계해볼 수 있습니다.
예를 들어 댓글 작성을 제안하고자 하는 가설 1의 경우 다음과 같이 다양한 방식으로 표현될 수 있습니다. 첫번째는 댓글 첫 부분을 버튼으로 보여주는 것이고, 하나는 사용자에게 질문을 던지는 것입니다.
Two variants for encouraging users to leave a comment (Image by Tom Springall)모든 기회 영역에서 가설 설계 과정을 거치면 다음과 같이 가설 트리 모델이 정리해볼 수 있습니다.
Hypothesis tree (Image by Author)이 구조를 활용하면 머릿속에 가장 먼저 떠오르는 아이디어보다는, 문제 해결을 위한 여러 다양한 가능성을 통합적으로 고려할 수 있습니다. 또한 가설 트리 프레임워크를 통해 상대적으로 정보가 부족해 리서치가 필요한 영역이 무엇인지 찾아낼 수도 있습니다.
가설 설계만으로 실험이 모두 완성되는 것은 아니지만, 좋은 가설을 세우는 것이 실험을 성공시키기 위한 첫 단추로서 중요한 역할을 합니다. 가설 트리 모델을 기반으로 여러분이 담당하고 있는 프로덕트의 가설을 만들어보시기 바랍니다.
