by
Sep 27. 2022
A/B 테스트가 무엇일까?
당근마켓 팀의 프로세스로 공부해보기
UX를 공부할 때 의미가 있었던 글을 가져왔어요. 맨 아래 출처를 참고해주세요:)
당근마켓A/B 테스트는 정의된 지표와 관련해서 여러 가지 버전의 기능이나 페이지를 평가하는 활동이다.
사람들한테 서로 다른 페이지를 보여주고 어떤 사람들한테 좋은 성과가 나타나는지 지속적인 시험을 통해 정량적으로 평가하는 테스트를 말한다.
‘정량적'이기 때문에 숫자로 표현될 수 있는 설득이어야 한다!
실험 단계 1. 왜 해야 하는지 정의하기
*당근마켓 가이드
어떤 현상을 관찰했고 무엇이 문제/원인이라고 생각했고 어떤 해결책을 생각해봤고 그 해결책은 어떤 지표를 개선시키는지
출처 - 당근마켓 팀블로그실험 단계 2. UI 그리기
실험 전/후 대조군을 쉽게 비교할 수 있도록 서비스에 반영되는 UI를 그려본다.
실험 단계 3. 실험 준비
실험 가설: 예상하는 원인과 결과에 대한 가설을 명료한 문장으로 적는다.
핵심지표: 실험의 개선 목적과 목표인 지표를 적는다.
보조지표: 추가로 실험 결과를 해석하기 위해 참고할 지표를 적는다.
가드레일 지표: 실험의 영향으로 떨어지면 안 되는 주요 지표를 적는다.
실험을 위한 사전작업: 개발 배포가 필요한지, 디자인만 변경하면 되는지 적는다.
출처 - 당근마켓 팀블로그실험 단계 4. 세팅
실험대상: 사용자 대상 그룹을 나눈다.(ex. 안드로이드 6.3.1 버전 이상을 쓰는 사람들)
실험기간과 규모: 실험을 수행한 날짜와 몇 명에게 실험했는지를 적는다.
실험 변수: 대조군과 실험군 차이를 발생시키는 변수를 적는다.
대조군과 실험군에 해당하는 변수의 값을 적는다.
출처 - 당근마켓 팀블로그실험 변수를 정하는 것은 개발자에게 조언을 구해보면 된다.
출처 - 브런치 기획자 서경
당근마켓팀의 A/B 테스트 방식을 더 자세히 보고 싶다면
Newtudy 생각:
A/B 테스트는 꼭 순서가 위 글처럼 정해진 것은 아니다. 큰 틀은 같지만 회사의 상황, 인력, 개개인의 능력에 따라 차이가 있는 것 같다. 당근마켓이 A/B테스트를 통해 얼마나 유의미한 데이터를 얻고 성장했는지 우리는 알 수 없다. 하지만 당근마켓의 빠른 성장세에 분명 도움이 되었을 것이다.
우리는 실패를 두려워하지만 빠르게 실패하고 효과적으로 바꾸는 것이 정답이라는 생각도 든다.
