가설은 어떻게 증명해야하나?

가설을 세우고 증명하는 일

프로덕트오너 - 김성한 지음

9장 / 테스트 중 가설을 효과적으로 검증하려면 (P. 241)

이 글은 프로덕트 오너를 참고하였고, 그 바탕으로 제 사견을 함께 작성했습니다.

---

가설은 어떻게 증명해야하나?

부제: 가설은 데이터로 증명해야한다.

PO는 고객 경험을 개선하기 위해 신규 디자인이나 기능을 개발하는데, 그것에 노출된 B그룹의 수치가 A그룹보다 유의미하게 향상되었을 경우 가설은 증명되었다고 판단한다. 만약 B그룹이 A그룹보다 나은 성과를 못 내면, 가설은 증명되지 않았다고 판단한다.

(어떻게 유의미하다. 유의미하지 않다를 판단할 수 있을까?

이것은 신뢰수준 P를 확인해야한다.

이것에 대한 자세한 설명을 해줄 링크를 첨부한다)

신뢰수준 P 알아보기

새로 개발된 기능을 배포한 후, 점차적으로 A그룹과 B그룹이 각각 50%씩의 트래픽을 수용하게 되면 본격적인 테스트를 할 준비는 완료된다.

여기서 잠깐

그런데, 어떻게 A그룹과 B그룹을 분리해서 배포가 가능한지 모르겠다. 버전 업데이트를 하게되면 한 버전으로 업데이트가 되는게 아닌가..?

안드로이드 개발자 도구에 그런 기능이 있는지 확인하거나 우리 회사의 개발팀에게 이것을 물어보고 이 글을 업데이트 하겠다.

---

새로운 기능이 끼치는 영향을 세밀하게도 보고, 거시적으로도 보려면 두 가지 타입의 지표를 모두 봐야한다.

1. 특정 기능과 직결된 수치

동영상의 볼륨 조절 버튼을 사용한 평균 횟수

주문 화면의 메모 기능을 사용한 빈도

코멘트의 추천 버튼을 누른 횟수

2. 프로덕트 전반의 수치

고객 1인당 주문 횟수

고객 1인당 동영상 시청 횟수

고객 1인당 이미지 업로드 횟수

이런 수치가 향상되었다고 하더라도 이것은 성공척도라고 판단할 수 없다.

즉, 기능이나 전반의 수치가 향상되었다고 하더라도 평균 매출이 급격하게 감소했으면 테스트를 중단했어야 한다. (*평균 매출: 프로덕트 성공 척도의 하나)

유의미한 결과가 도출되지 않았다면 이를 어떻게 판단해야하나?

부제: 유의미한 결과를 얻기 위해서 선택할 수 있는 세가지

선택1. 더 많은 고객에게 노출될 때까지 테스트를 몇일 간 더 진행해본다.

선택2. 테스트를 중단한 후 신규 디자인 또는 기능이 의미 없다고 판단한다.

선택3. 유의미한 결과가 없었으나, 프로덕트 전체에 악영향을 끼치지 않아 B그룹이 이겼다고 판정한다.

변경사항을 그대로 적용하는 3번의 경우에는 많은 책임을 져야하기 때문에 주의해야한다.

프로덕트의 유저가 많지 않으면, 선택1은 아무리 기다리더라도 채택하기가 어려운 방안이다.

선택2의 경우는 힘빠지는 일이지만, 그렇다고해서 선택 3번을 선택하면 안된다.

힘빠진다고 해서 채택하는 것은 굉장히 리스크가 크기 때문이다.

PO는 냉철한 판단을 해야한다.

이성적으로 판단하고 데이터에 의존해야한다.

---

지금 내가 서비스기획자로 맡고 있는 프로덕트의 경우.

서비스 가입자와 서비스 해지자를 알 수 있는 지표의 대시보드만 존재한다.

(입사 2개월차)

그렇기 때문에 세부적인 화면의 a/b 테스트를 할 수가 없는 상태인데,

데이터를 확보할 수 있도록 로그데이터를 심는 것을 요청할 계획이다.

어떤 지표들을 요청할 것이며

(서비스에서 어떤 지표들을 유의미하다고 판단할 것이며)

지표를 이용하여 의사 결정했을때 서비스가 어떻게 성장하는지에 대해서도 작성할 예정이다.

프로덕트오너에서 알려주는 팁을 잘 따라서 적용해봤을때, 서비스가 어떻게 성장할 것인지 기대가 된다.