당신의 지표를 팀원들이 보지 않는 이유
볼린저 밴드를 활용한 데이터 리포팅
필요하다 해서 만들었는데... 왜 보지 않으세요?
데이터 분석가로 처음 일하게 되면 흔히 '쿼리 머신', '대시보드 공장장'이 되기 마련입니다. 다양한 팀에서 쏟아지는 수많은 데이터 요청을 해결하기만 해도 시간이 모자라죠.
그렇게 다양한 지표들은 쌓이고, 프로젝트마다 대시보드는 생기게 됩니다. 그리고 그중 대부분은 지속적으로 보지 않고 방치되고 맙니다.
그렇다면, 팀원분들은 본인이 요청한 데이터를 왜 보지 않는 걸까요? 과연 데이터에 관심이 없어서 그런 걸까요?
네, 맞습니다.
반은 농담이지만 반은 맞는 말입니다. 정확히 말하자면 데이터 분석가만큼 데이터에 관심이 많은 팀원은 그리 많지 않습니다. 그러니 데이터 분석가라는 직무가 따로 있는 것이지요.
데이터 분석가는 정확하고 신속한 분석을 하는 것이 가장 중요하지만, 그 결과를 팀원이 관심을 갖게 하는 것도 주요 업무 중 하나입니다. 아무리 중요한 데이터 분석 보고서라도 아무도 보지 않으면 실패한 분석과 마찬가지니까요.
데이터 둔감화를 경계하자
자, 팀원분들의 입장에서 생각해 봅시다. 처음 데이터를 관찰할 때에는 데이터의 동향에 대해 민감할 것입니다. 그리고 그에 따라 의사결정을 하시겠죠.
하지만 오래된 데이터일수록 이러한 동향에 대해 둔감해지기 시작합니다.
'이 지표는 유입이 늘면 그냥 자동으로 늘어나는 거야.'
'그냥 가끔 지표가 튈 때가 있더라고'
'이 정도는 크게 늘어난 건 아닐걸? 일단 두고 보자'
초기에는 작은 증감치에도 반응을 하기 마련이지만, 한 번 큰 증감치를 보게 되거나 계속 늘고 줄고 하는 동향을 보다 보면 결국 그 데이터에 대해 둔감해지기 시작합니다.
이것이 데이터 드리븐 조직에서 가장 경계해야 할 증상입니다. 왜냐하면 데이터에 둔감해지기 시작하면 중요한 지표보다 더 자극적이고 새로운 지표를 찾게 되기 때문입니다. 그리고 그것이 그 조직에 가장 중요한 것인지는 뒷전이 되고 새롭고 자극적인 지표에 의한 의사결정이 이뤄질 가능성이 큽니다.
잘못된 의사결정 방식이죠.
데이터에 민감할 수 있도록 데이터 자극을 줄이자
앞선 글에서 어떠한 지표의 증감치를 확인하는 것을 '데이터 자극'이라 해봅시다.
데이터 자극이 많아질수록 데이터 자극에 둔감해지게 됩니다. 따라서 중요한 지표를 매일 자동으로 리포팅하는 시스템은 별로 좋은 방법이 아닙니다. 운영 초반엔 다수가 보겠지만 시간이 지날수록 관심이 없어지기 마련이니까요.
요새 많은 BI툴은 슬랙, 웹훅 등과의 연동을 지원하여 특정 수치를 발견할 시 자동으로 리포팅해주는 기능이 있습니다. 하지만 문제는 이러한 기능은 보통 절대적인 수치를 기준으로 작동한다는 것입니다.
절대적인 수치를 가지고 데이터 자극을 주는 것은 매일 리포팅하는 것보다 민감성을 덜 해치는 방법이긴 하지만 최선의 방법도 아닙니다. 왜냐하면 특정 수치가 모두가 공감하는 특이점이 아닐 수 있기 때문입니다.
예를 들어 유입 수가 1000 증가했을 때 리포팅이 가도록 설정했다고 가정해 봅시다. 이 1000이란 수치는 누군가는 민감하게 반응하겠지만 누군가는 아닐 수 있습니다. 또한, 평균 유입 수가 1000일 때 1000이 추가로 증가한 것과 10만 일 때의 1000이 증가할 때도 민감성이 달라질 수 있습니다.
결론적으로 누구나 동의할 수 있는 기준을 만들고 그 기준에 초과, 미달하는 수치에 데이터 자극을 주는 것이 핵심이라 할 수 있습니다.
볼린저 밴드를 활용한 적절한 데이터 자극 방법
주가에서 사용하는 볼린저 밴드볼린저 밴드를 아시나요?
볼린저 밴드는 이동평균을 중심으로 표준편차 범위에서 상한선과 하한선을 확인하는 보조 지표로, 보통 주가 차트 등에서 흔히 볼 수 있습니다. 공식은 다음과 같습니다.
중심선 : N일 이동평균선
상한선 : 중심선 + (표준편차 × K)
하한선 : 중심선 - (표준편차 × K)
저는 (표준편차 X 2)로 상한선과 하한선을 설정하여 신뢰구간 95%를 기준으로 하고 있습니다. 상한, 하한선을 넘어설 시 그 수치가 발생할 확률은 약 5% 미만이기 때문에 이를 이상치로 정의하고 데이터 자극을 주도록 설정한 것입니다.
볼린저 밴드를 활용한 데이터 자극의 장점은 기준이 상대적이기 때문에 현재 상황에 맞는 기준을 설정할 수 있고, 기준 설정 방법을 통계적으로 정한 것이기 때문에 대다수가 동의할 수 있다는 것에 있습니다.
저는 각 주요 지표들을 위 기준을 토대로 확인하고 이상치가 발생하면 슬랙에 자동으로 메시지가 발송되도록 설정했습니다. 그럼 데이터 분석가와 유관 팀원들이 같이 원인을 파악합니다. 그리고 그 원인은 아카이빙 되어 어떠한 액션이 프로덕트에 큰 영향을 미치는지 쉽게 패턴을 찾도록 도와줍니다.
원인을 찾는 것이 어렵다고요? 지난 주제로 썼던 MECE를 토대로 대시보드를 만들고 지표를 확인한다면 쉽게 원인을 찾을 수 있을 것입니다.
� MECE로 원인을 찾는 방법
우선순위는 정하는 것이 아닌 정해지는 것입니다. (brunch.co.kr)
마치며
데이터 분석가의 업무는 조직마다 조금씩 다 다릅니다. 하지만 기본적인 목표는 데이터를 통해 최선의 의사결정을 할 수 있도록 하는 데에 있다고 생각합니다.
하지만 최선의 의사 결정을 하기 위해서는 데이터 분석가 혼자의 역량으로는 부족하기 마련입니다. 모든 팀원이 데이터에 관심을 가지고 해석할 수 있는 데이터 드리븐 문화가 필요한 이유입니다.
이를 고민하는 것이 '쿼리 머신', '대시보드 공장장'이 아닌 진정한 '데이터 분석가'의 일이라 생각합니다. 어떻게 하면 팀원이 더 데이터에 민감해지고 하나의 행동을 하도록 할 수 있는지 고민해 보길 바랍니다.
