대시보드 관리가 어려운 이유
분석가분들의 이력서를 받으면서 흔하게 볼 수 있는 프로젝트 중 하나가 대시보드 구축입니다. 매출과 관련된 대시보드를 구축하거나 고객 지표를 볼 수 있게 설계하고 관리하는 등 전에 각자가 다른 기준으로 보던 지표를 하나로 맞추고 상시 확인할 수 있도록 만드는 대시보드는 조직이 데이터를 활용하기 시작할 때 가장 처음 하는 단계 중 하나입니다.
흔히 주니어 분석가들은 대시보드 구축이 주된 경력인 경우가 많고 시니어 분석가들에게는 대시보드는 사실 그렇게 매력적인 과제로 느껴지지 않을 때도 많습니다. 그렇게 대시보드는 임팩트 없고 쉬운 과제일까요? 대시보드를 실제 활용하는 현장에서는 그렇게 녹록하지 않습니다.
비즈니스를 기획하는 관점이 어떻게 변하는지
회사에서 새로운 프로모션을 기획합니다. 아예 새로운 타입의 프로모션이죠. 별도의 지면을 생성해서 특정 고객군에게 주문을 유도하는 프로모션을 기존 프로모션 타입과 별개로 진행하려고 합니다. 당연히 해당 부분에 대한 실적만 별도로 필요합니다. 새로운 프로모션을 통해 얼마나 많은 주문이 만들어지고 고객 창출이 어떠한지 등을 알아야 하기 때문이죠.
또한 어떤 의도 때문에 만들어진 프로모션이라면 그 의도가 달성되고 있는지 알 수 있어야 합니다. 만약 새로운 프로모션을 만들면서 마케팅 비용을 절감하려고 한 것이라면 당연히 마케팅 비용을 일 단위 혹은 시간 단위로 추적할 수 있도록 대시보드 어딘가에 해당 지표들이 있어야 하겠죠.
비즈니스는 매 순간 변하고 다른 관점으로 바라볼 수밖에 없는 살아있는 것입니다. 어제 시장과 고객, 상품을 나누는 기준이 오늘은 달라질 수 있고 어제의 관점과 오늘의 관점이 같이 있어야 하는 경우도 허다합니다. 그래서 대시보드에는 그때마다 우리가 바라보는 관점으로 레이아웃 및 지표가 재정의되어야 하고 이에 맞는 데이터 수집과 배치가 수정되어야 합니다. 너무너무 어렵고 귀찮습니다.
마치 하나의 서비스 같습니다. 어떻게 해야 사람들이 더 좋아하는 서비스를 만들고 유저가 더 자주 찾고 이용하는 서비스를 만들 것인지 고민하는 것처럼 대시보드 역시 어떻게 하면 더 자주 찾고 잘 쓸 수 있는 서비스인지 고민하는 것은 같습니다. 그냥 대시보드 구축했다, 몇 개 만들었다…라고 말하는 것은 마치 외주 회사를 통해 구축만 하고 아무 보수와 개선이 없는 서비스를 회사 내부를 대상으로 만들겠다는 것과 같습니다.
회사마다 대시보드를 구축하는 담당자와 조직은 다른데 특히 데이터 분석가와 기획자가 별도로 나뉘어 있는 대부분의 조직은 비즈니스를 기획하는 관점과 대시보드 구현 사이의 시간 차이 혹은 아예 반영이 되지 않는 고질적인 문제를 겪을 수 있습니다. 어떻게 우리 비즈니스를 바라봐야 하는지 생각하는 사람과 대시보드를 관리하는 사람이 다르다면 필연적으로 시간과 가치의 충돌이 있을 수밖에 없죠. 이들을 하나의 이해관계로 묶거나 아예 사람을 단일화하는 게 가장 좋은 방법이지만 이 역시 쉽지 않습니다.
기획자가 생각하는 비즈니스의 디테일과 다른 사업과의 연결에 대한 생각을 분석가가 알고 있는 회사 내부의 데이터 구조와 수집과 처리의 절차적 한계와 제약을 계속 이야기하면서 맞추어 나가는 것은 내가 모르는 영역을 끊임없이 알고 대화해야 한다는 수고를 각오한다는 것이니까요. 초기 스타트업 같은 조직이라면 가능할 수도 있지만 거대하고 오래된 조직에서는 자신의 리소스를 생각하면서 방어 기제가 작동하면서 실제와 대시보드는 괴리를 가져갈 수 있습니다.
대시보드를 보다 수정이 용이한 구조로 계속 만들어 두는 것과 하나의 조직이 너무 많은 지표를 보지 않도록 조직 정비를 통해 이런 어려움을 해결할 수 있습니다. 주변에서 본 가장 좋은 방법은 데이터를 잘 다루는 기획자 한 분이 자아가 분열되지 않으면서 매끄럽게 관리하는 것이었습니다. 단계를 줄이는 것으로 괴리를 줄이는 회사 내의 원리는 여기서도 동일하게 적용됩니다.
이해관계에 있는 조직이 늘어날 경우
대시보드의 지표를 보는 조직의 수가 늘어날 때 대시보드 관리는 어려움을 겪습니다. 각자 자기 방식으로 지표를 뽑다 보니 같은 지표인데 어느 조직에서 뽑느냐에 따라 숫자가 달라 실제 일을 하는 시간보다 지표를 맞추고 설득하는데 상당한 시간을 쓰는 조직이 꽤 많기 때문이죠. 어제만 해도 프로모션 성과를 보는 조직이 마케팅뿐이었는데 오늘은 마케팅 비용이 과다하다는 의견 때문에 사업 기획팀에서도 프로모션 성과 지표를 보기 시작했고, 내일은 프로모션을 섭외하는 제휴 영업 조직도 이 지표를 봐야 하는 상황인데 서로 사일로가 심한 상태라면 각자가 대시보드를 내부적으로 만듭니다.
처음부터 여러 부서가 모여 누가 대시보드를 어떤 기준으로 출발할지 정하고 시작한 게 아니라 중간중간 이해관계가 있는 조직들이 하나씩 생기고 이 과정에서 디테일에 대해 깊이 이야기하지 않으니 충분한 대화 없이 각자 자기의 정의대로 다른 숫자를 뽑는 것이죠.
회사가 이슈에 따라 여러 조직이 하나의 지표를 보는 것은 같지만 서로 보는 세부적인 뷰가 다르기에 여러 개의 대시보드가 생기는 것은 낭비는 아니라고 생각합니다. 대시보드의 레이아웃을 제휴 영업 조직과 사업 기획 조직과 마케팅 조직이 모두 납득할 수 있게 만들기는 사실상 불가능에 가까우니까요. 그렇다면 적어도 데이터를 추출하는 기준에 대한 위키나 쿼리는 서로 볼 수 있도록 아카이빙하고 공유하는 것은 필요합니다.
무엇 때문에 그 기준으로 하게 되었는지를 모두 알면 ‘무엇’에 해당하는 것의 변화에 따라 합리적으로 변화하고 맞출 수 있기 때문이죠. 같은 쿼리로 집계하면 숫자가 달라 서로 머쓱한 상황은 만들어지지 않을 것입니다. 이렇게 하기 위해서는 어떤 지표를 어떤 조직이 주로 가져간다는 것을 정해두고 해당 조직을 중심으로 대시보드를 정리하고 그 지표 정의를 따르는 조직 간 역할 정의가 명확히 공유되어야 합니다.
다 챙기지 못하는 파라미터와 오류들
대시보드가 모두 자동화되지 않는 경우도 많습니다. 수요 예측을 하는 대시보드를 만든다고 할 때 예측 방식 중 하이퍼 파라미터를 입력해서 예측 결과가 나오는 부분도 있습니다. 초기에 많은 데이터를 갖고 출발하지 않는 경우 당분간은 임의로 설정한 파라미터 값에 의존하는 경우가 생기고 상수로 정의된 고정된 요소들은 필연적으로 관리가 필요합니다.
하지만 이렇게 눈에 직접적으로 드러나지 않는 요소들은 관리가 잘 되지 않는 경우가 많습니다. 해당 대시보드를 관리하는 분석가가 계속 관리해야 할 요소들을 알고 누가 보든 안보든 정확도를 높이기 위해 계속 수정하거나, 이런 방식으로 여의치 않으면 자동으로 파라미터가 세팅되는 방식으로 일정 시점 이후 변경해 주어야 하는데, 많은 대시보드를 그때 그때 필요에 의해 만들고 잘 보지 않는 것이 많은 조직에서는 새 대시보드 만드느라 혹은 기존에 만든 다른 대시보드 뜯어고치느라 적시에 관리해야 하는 요소들이 누락되어 버립니다.
특정 지면의 트래픽을 예측하는 대시보드를 관리한다고 하면, 전체 지면의 개편이나 정책의 개선 등으로 해당 영역에 유입되는 트래픽이 단순히 요일이나 이벤트를 타는 수준을 넘어선 변화가 발생합니다. 이런 변화가 발생한다는 공유가 되면 관련 대시보드를 운영하는 담당자는 영향도를 생각해 보고 개선 작업을 하거나 임의의 파라미터를 수정하는 작업을 해야 하는데 이런 부분이 누락되는 경우가 적지 않게 발생하는 것이죠. 심지어 특별한 변화가 없더라도 작은 영역에서 오류값이 발생하는 것이 제대로 챙겨지지 않아 꼭 그 부분을 봐야 하는 상황이 될 때서야 확인되고 당황하는 경우도 발생합니다.
보통 이런 경우는 대시보드에 대한 정의와 이력 관리가 문서로 잘 정리되어 있지 않거나 대시보드를 구성하는 작업에 대한 모니터링 프로세스가 없는 경우 많이 발생합니다. 늘 우리가 공기처럼 보는 대시보드여서 불편함을 갖고 있지 못하다가 누구에게 설명하려고 관련 문서를 찾으면 없다는 것을 알게 됩니다. 혹은 문서가 최신화되지 않는 경우죠. 그래서 무엇을 뜯어고쳐야 하고 변화 사항이 어떤 영향도를 주는지 오직 운영하는 그 사람의 기억과 감각에만 의존하게 됩니다. 급하게 만드느라 관리할 겨를이 없는 것이죠. 정말 중요한 지표를 보고 있는 것이라면 해당 대시보드는 명확한 정의와 이력 관리가 있어야 합니다.
대시보드 관리가 ‘관리’이기 때문에 성과가 잘 드러나지 않아 소홀히 하는 경우가 많습니다. 하지만 이미 잘 쓰고 있는 대시보드는 비즈니스에 너무 중요하고 특별히 우리 조직이 비즈니스를 바라보는 시각이 한눈에 정리된 것이기에 방치할 수 없습니다. 사실 그걸 관리하는 사람이 방치되어 있는 경우가 많죠. 어려움을 이미 그 사람은 알고 있지만 조직이 그 사람의 어려움에 귀 기울이지 않는 경우 말이죠. 어떤 지원이 필요하고 어떻게 하면 더 유의미한 변화가 될지 자주 이 부분을 이야기하고 지원을 하는 것이 필요합니다.
PETER님이 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.
