BRICE 스코어링, 올바른 의사결정을 위한 방법론
PM/PO로서 현명한 의사결정을 위한 방법론 : BRICE Scoring
PM/PO로서 가장 집중해야하는 것은 무엇일까?
올바르게 문제 정의를 하고, 해당 문제를 잘 해결하는 것이 PM/PO의 본질 일 것이다.
하지만 문제가 있다.
- 정의한 문제와 해당 문제의 해결책이 유의미하다는 것은 어떻게 증명할 수 있을까?
- 다수의 문제들을 정의하고, 다수의 해결책을 낸 경우에 어떻게 우선순위를 정할 수 있을까?
일을 하다보면,
한정된 리소스로 최대한의 결과물을 내어야하는 상황에도 불구하고, [임팩트를 내지 않는 Useless한 문제에 시간을 쏟는 일들이 비일비재]하며 [여러가지 해결책들 사이에서 우선순위]를 정하는 것이 여간 힘든 일이 아니다.
각자 살아오고 경험한 바들이 다르기 때문에, 문제와 해결책의 임팩트에 대해 의견이 분분하다. 이 간극을 매우기 위해서는 서로가 납득할 수 있는 논리, 그리고 판단을 하기 위한 기준 이 필요하다.
문제/해결책에 대해 의견이 분분한 경우에 권력, 사내 정치 혹은 목소리가 큰 사람이 말하는 대로 일이 이루어질 수 있는데, 이번시간에는 이러한 일이 일어나지 않도록!
합리적으로 문제 검증, 우선순위 설정을 할 수 있는 방법론이자 Framework인
[BRICE Scoring]에 대해 설명하고자 한다.
BRICE Scoring 브라이스 스코어링1. BRICE Scoring(브라이스 스코어)에 대해
간단하게 설명하면, BRICE Scoring는 사용자에게 최상의 결과를 제공할 수 있는 기능의 우선 순위를 평가하는 우선 순위 지정 방법론이자 Framework다. 아래 5가지 요소를 활용하여 해당 Product의 효용을 판단하여 우선순위를 정한다.
B : Business
R : Reach
I : Impact
C : Confidence
E : Effort
일반적으로 다음과 같은 공식으로 Scoring을 한다.
(B x R x I x C) / E
* 곱하기(x)로 요소들을 계산하는 이유는 서로의 영향을 반영하기 위함이다. 아래 총거래액 공식에서 확인 할 수 있듯이 Business의 궁극적 목표라고도 볼 수 있는 매출액은 여러 요소들이 복합적으로 연관되어 계산된다.
* 총 거래액(GMV. Gross Merchandise Volume)
= [전체 유입] x [전환/구매(conversion)] x [평균 주문 금액(AOV. Average Order Value)]
BRICE Scoring 적용 예시)
*프로덕트테스트 : 스타일쉐어 사례 참고가정 - 스타일쉐어(SNS 기반 의류 쇼핑 플랫폼) 홈 화면
# 문제 - 현재 홈화면에서 제공하는 컨텐츠는 유저에게 흥미롭지 않다. 따라서 홈화면에서 제공하는 컨텐츠들의 클릭률이 낮게 나오고 있는 상황이다.
# 가설(해결책) - 만약 고객에게 뜨는 브랜드라는 추상적인 정보가 아닌, 브랜드 랭킹으로 구체적으로 브랜드에 대한 인기 순위를 보여준다면 고객은 이에대해 호기심을 느끼고 해당 탭을 활용할 것 이다. 이는 홈화면 클릭 전환율을 높일 것이다.
B : 1.1
*해당 해결책이 구매 전환율을 10% 증가시킬 수 있음을 가정
or Product 방향성에 따른 가중치를 줄 수 있음 10%
R : 100%
* or (월간 홈화면 순 진입자 수 ex. MAU 30000)
I : 2
* 노출대비 클릭율 2배 증가 가정
C : 90%
* 소비자인터뷰를 통해, 최신 유행의 브랜드 및 요즘 뜨는 브랜드 상품에 관심이 많다는 점을 확인해서, 해당 기능에 대한 해결책에 대한 확신이 높음
E : 3
* 현 상황에서 해당 개선 시 개발 기간 1달 소요가 된다고 내부 개발자 확인
(B x R x I x C) / E = 1.1 x 100% x 2 x 90% / 3
= 1.1 x 1 x 2 x 0.9 / 3
= 0.66
적용 : 0.66 Brice 점수를 바탕으로 다른 가설(해결책)과 비교하여 우선순위를 정하는데 사용한다. Scoring을 하는 과정 속에서 해결책이 얼마나 유의미한지도 되돌아볼 수 있다.
TMI : 실제 해당 개선(브랜드 랭킹시스템-인기순 도입)을 통해 스타일쉐어는 아래와 같은 성과를 얻음
- 노출대비 클릭율 기존 2.7%에서 80%로 증가
- 상세 페이지 전환율 기존 2.7%에서 22%로 증가
2. 왜 BRICE Scoring을 사용해야하는가?
BRICE Scoring은 하나의 스코어링 방법론이기도 하지만
생각의 Framework 기능 역할도 하고 있다.
1) Business 를 통해서 해당 가설이 실질적으로 Business에 Impact를 주는지, 전체적인 Product의 방향성과 맞는지를 다시 생각하게 만들고
2) Reach를 통해서 해당 기능이 실질적으로 얼마나 파급력을 가질지를 고려하게 하며
3) Impact를 통해서 어떤 User Impact가 생길지를 예측하게 하고
4) Confidence를 통해서, 해당 가설(해결책)에 대한 합리성을 스스로 판단하게 되돌아보게 만
들고
5) Effort를 통해서 실질적으로 얼마나 노력이 들어가는지를 되돌아보게 만든다.
BRICE Scoring을 통해 사전에 Useless 한 문제와 해결책에 대한 논의를 걸러 시간을 아낄 수 있으며, 우선순위 설정에 있어서 설득 및 전체적인 합의를 이루기 보다 편해질 수 있다.
3. BRICE Scoring 적용 방법
!중요 : BRICE Scoring의 핵심은 '얼마나 사실적으로 각 요소들에 점수를 부여하는가'이다. 실질적인 효용을 예측 및 수치화하는 것이 BRICE의 핵심임을 기억해야한다
1) B : Business Importance 점수를 측정하는 방법
Product가 낼 수 있는 Business Impact, 그리고 Product와 Business의 방향성이 일치하는 정도를 반영한다. 1점을 기준으로 현재에 비해 몇 퍼센트의 비즈니스 임팩트를 낼 수 있을지를 고려하여 점수를 매긴다. *Product보다 사업적 측면을 본다는 것을 명심하자.
*경영진의 명령이나 Business의 중요성에 따라 해당 지표에 가점을 줄 수 있다. 하지만 이를 통해서 전체적인 Scoring에 변동이 커서는 안된다는 점을 항상 생각하자. 우리가 Scoring을 하는 이유는 Logical한 의사결정을 위해서이다.
ex)
- 객단가(AOV)의 증가 예상 수치 10% 로 가정하는 경우, B는 1.1 점
- 반복 구매 횟수가 월 2 -> 월 3회로 증가하는 경우, B는 1.5 점
2) R : Reach 점수를 측정하는 방법
두 가지 방식으로 측정할 수 있다.
① 1에서 100 사이로 추정하여 "도달"할 것으로 예측하는 사용자의 비율을 반영하는 방식
② 실제 숫자(예: 50,000명)를 입력
TIP. Reach를 설정할 때 [해당 기능을 사용하는 유저 수 VS 해당 기능에 노출되는 유저 수] 어떤 것을 선택해야할까?
정답은 후자, 해당 기능에 노출되는 유저 수를 기반으로 해야한다. 노출에 따라서도 충분히 유저에게 Impact가 전달되기 때문이다.
ex)
- 1. 유저의 A 카테고리 진입 비율 20%
- 2. 월간 B 카테고리 진입 순유저 수 3000
3) I : Impact 점수를 측정하는 방법
Impact는 최종 사용자에게 미치는 영향을 정량화 하는 점수다. 예를 들어 고객 만족도, 전환율, 이탈 감소 등이 지표가 될 수 있다. 1점을 기준으로 현재에 비해 몇 퍼센트의 임팩트를 낼 수 있을지를 반영한다.
ex)
- 1. 카테고리 페이지에서 상세페이지 전환율이 10% 증가하는 경우, 1.1 점
- 2. 장바구니에서 구매 까지 전환율이 5% 증가하는 경우, 1.05 점
- 3. 카테고리에서 상세페이지 진입 전환율 10%가 증가하고, 상세페이지에서 장바구니 진입율이 10% 증가하는 경우 1.1 x 1.1 = 1.21점
4) C : Confidence 점수를 측정하는 방법
Confidence 점수는 가설을 증명할 실제 데이터가 부족한 상황 등이 반영되며, PO가 성공에 대해 얼마나 확신을 가졌는지를 나타낸 수치이다.
*일반적으로 80% 이상은 높은 신뢰도로 간주되며, 50% 미만은 부적격으로 판단한다.
#Scoring Guide
100% = 높은 신뢰도 80% = 중간 신뢰도 50% = 낮은 신뢰도
5) E: Efforts 점수를 측정하는 방법
해당 프로젝트 혹은 개선을 완료하는데 얼마나 많은 노력과 시간이 들어가는지를 추정하는 수치이다.
Effort는 최종 공식의 분모이기 때문에 분자의 Confidence에 따라 변하면 안된다. Effort는 명확하게 Impact, Reach, Confidence에 대해 어느 정도의 자원이 투입되는지 판단해야 한다. 내부 Dependency가 있는 경우 이 또한 반영한다
ex)
- 개발에 들어가는 시간 1 month를 3점, 3 month를 5점 등으로 기준을 정해서 반영
- 프로젝트를 진행함에 있어 MD등의 인원이 추가가 필요한 경우 이 또한 점수에 반영
* Brice Scoring을 하고 최종적으로 정규화(Normalization)를 한다면, 우선순위 설정시 보다 요소들 간의 간극을 더 명확하게 확인할 수 있다
- 이상치가 없는 경우 Min-Max Normalization(최소-최대 정규화)를 사용하는 것을 추천
- 이상치가 있는 경우 Z-Scoring Normalization(Z-점수 정규화)를 사요하는 것을 추천
4. BRICE Scoring 사용 방법
브라이스 스코어는 여러 사람들과 함께, 여러 안건 혹은 백로그들의 우선순위를 결정하는데 있어서 많이 사용된다. *하지만 한 개인이 본인의 가설의 유효성을 검증하는데에 있어서도 충분히 좋은 Framework로 사용할 수 있습니다.
단) Scoring을 매기는 기준이 달라지는 경우, Scoring이 의미가 없을 수 있으므로 Scoring 방식 및 각 가설에 매긴 Scoring에 합의를 잘 해야한다. Scoring을 한 주체가 해당 Scoring을 한 논리나 근거가 없다면 BRICE Scoring은 무용지물이 되어버린다.
BRICE Scoring은 완벽하게 예측하거나 점수화 하는 것이 아니라, 최대한 실제를 시뮬레이션하여 적용하는 방법론이다.
단순히 Scoring을 매기는 것이 중요한 것이 아니라, BRICE가 가진 Framework을 이해하고 이러한 사고를 의사결정에 반영하는 것 자체가 중요하다.
Brice Scoring 사용 예시)5. BRICE Scoring 주의사항
1) Scoring을 정확하게 한다는 것, 해당 가설을 기능에 반영함에 따라 얼마만큼의 전환율이 있을지 예상하는 것은 쉽지 않다. 이는 어쩔 수 없이 경험이 필요한 부분이다. 하지만 경험이 생긴다면 생각보다 많이 수월해진다. *대부분시니어 PO들 왈 : 결국은 많이 해봐야만 안다고.
다음 사이트 등에서 실제 가설이 적용되어 어느정도의 지표가 개선된 사례들을 참고하여 경험의 부족을 보완할 수 있다.
* 참고할 수 있는 사이트 :
- 1 해외 AB테스트 사례 사이트 : https://goodui.org/leaks/list/
- 2 국내 사례 사이트 : https://productest.kr/
2) 계속 강조하지만, Scoring은 꼭 논리적, 실질적으로 해야한다.
*참고자료 글
