Raw-data를 달라
가공된 정보를 원하는 실무자는 없다
한정적이고 느린 비지니스 인텔리전스
기업 데이터와 관련된 시장에서 '비지니스 인텔리전스(BI)'는 한 때 각광받았던 테마였습니다. 지금의 빅데이터 도래와 견줄 수 있는 변화였습니다. 기초적인 매출과 재고 등의 정보를 알려면 많은 시간과 수작업이 필요했던 일을 BI의 등장으로 단 몇 시간, 몇 분만에 보기 좋은 모양으로 볼 수 있으니 실무자부터 경영진까지 경영의 속도와 정합성을 높인 BI는 최고의 도구로 각광받았습니다. 한 10여년도 더 전에 말이죠.
BI의 특징은 다루는 사용자가 한 번 필터링 된 정보를 본다는 데 있습니다. 데이터 엔지니어가 기업에 필요한 데이터를 정의하고 실무자와의 합의를 통해 몇 개의 정형화된 레포트의 형태로 주요 데이터가 보여집니다. 즉, 사용자가 원하는 모든 기업의 데이터를 늘 볼 수 있지는 않습니다. 어디까지나 방대한 종류의 데이터 중에서 합의된 몇 개의 종류만 볼 수 있게 만든 것이죠. 이렇게 만든 이유는 기업이 보유한 데이터의 종류가 워낙 방대하여 다 보여주기에는 가시성이 너무 떨어지고 모든 것을 한 번에 다 다루기에는 속도가 너무 느려지는 현실적인 문제가 있기 때문입니다.
없던 게 만들어졌으니 사람들은 좋아했습니다. 한 동안은요. 그러나 모든 정형화된 레포트의 문제는 변화를 반영하는 데 시간이 너무 오래 걸린다는 데 있습니다. 전에는 중요한 지표가 이제는 필요 없을 수 있고 시장의 변화와 실적의 핵심을 파악하기 위해 전에는 알지 못했던 새로운 종류의 내부와 외부의 데이터가 필요해 질 수도 있습니다. 그리고 전에 만들었던 BI가 사실 만드는 주체는 프로그래머이므로 실제로 어떤 데이터가 어떻게 분석되어야 하는지 뼈 속까지 알고 있는 실무자에 비해 잘 모르기에 최종적으로 선택되어지고 보여지는 순간에는 온도 차이가 있는 결과가 보여질 수 밖에 없다는 근본적인 차이가 있는 것입니다. 이 부분은 BI를 셋업하는 주체가 누구이며 이런 작업은 전사적으로 어떤 형태를 가져가는 게 좋을지의 문제이기도 합니다. 시스템을 만드는 엔지니어는 실무자를 모두 만나보지 못했고 그 중에 누구의 말을 들어야 좋을지 판단할 능력도 사실 없기 때문입니다. 그래서 주로 실무진에서 힘 센 사람, 목소리 큰 사람의 말을 듣고 그것을 기준으로 데이터 시스템을 구축할 수 밖에 없습니다. 이런 사람들은 흔히 조직의 중간관리자 이상급들이며 실무자가 어떻게 일해야 하는지 실무를 손에서 놓은지 좀 된 사람들입니다. 당연히 실제 필요한 것에 대한 온도차가 존재합니다. 실무자를 부지런히 만났다고 해도 문제가 없는 것은 아닙니다. 하이어라키가 강한 조직은 실무자가 선뜻 도장을 찍지 못합니다. 결국 상사의 의견을 물어야하고 상사의 주관이 개입될 여지는 여전히 많습니다. 물론 이런 개입이 도움이 되는 경우도 있지만 말입니다.
데이터 활용의 주체는 정말 누구일까
더욱 문제는 BI의 고객이 누구냐에 대한 정의입니다. 위에서 복잡다단한 일이 벌어지게 된 원인이기도 합니다. 경영 정보가 어떤 형태로 가공되는 데 기업에서 가장 많은 돈을 비롯한 자원을 투여하느냐가 기업의 철학과 관련 있는 문제이기도 합니다. 대부분 경영 정보의 활용이 미숙하고 변화 관리가 되지 않는 조직은 경영 정보의 고객을 최고 경영진으로 한정하거나 편중되는 곳입니다. 경영 정보의 디테일 수준 정의가 그렇게 잘 되어 있지 않습니다. 윗 사람이 좋아하는 간단하고 보기 좋고 직관적인 숫자들은 제대로 정의되어 있지만 세부적으로 봐야할 것을 실무자가 볼 수 없는 수준의 데이터 구조를 갖고 있는 경우가 많습니다. 제조업인데도 불구하고 원재료의 정보를 하나씩 볼 수 없고 재공품 수준은 되어야 확인할 수 있는 기업이 그런 경우죠. 또 경영진이 관심이 없는 최신 유통망이나 최신 외부 정보망에 대한 BI로의 처리도 경영진이 관심을 가질 때까지는 실무자 중에서 누가 회사 돈을 들여서 이것을 들여 놓자고 말하지도 못합니다. 정보의 정의가 상향적이지 않고 하향적인 조직은 데이터 관리의 기본이 되어 있지 않은 것입니다. 이러는 사이 실무의 전문성은 떨어지고 답답함이 쌓여만 갑니다.
결국 이런 BI는 거액을 들여 도입한 제 역할을 충실히 못하고 반쪽이 되어 버립니다. 실무진에서 BI를 통해 추출한 데이터를 엑스포팅하여 다시 재가공하여 엑셀이나 이런 OA를 활용해 다시 정형화 레포트를 만드는 것입니다. 이렇게 되면 경영의 속도가 느려질 뿐 아니라 제 각각의 레포트 양산으로 인해 기업의 관리적 능력은 엉망이 되어 버립니다. 실무에서는 엑셀이 창궐합니다. 데이터는 쌓여가는데 서버는 그대로이므로 이런 회사는 점점 느린 속도의 BI를 만날 수 밖에 없습니다. 물론 경영진은 이 속도가 느려지는 것이 무엇을 의미하는지 전혀 체감하지 못하기에 투자할 생각이 당분간은 없습니다. 실무가 돌아가지 않고 비효율이 양산되기 시작합니다.
이런 상황에서 요즘 직접 서버에 접속해서 BI가 아닌 데이터 가공을 하는 기획자들이 늘어나고 있는 게 괜한 이야기는 아닐 것입니다. 거액을 들여 BI를 바꾸는 것도 한계가 있으므로 이미 있는 정보를 직접 쿼리문을 돌려서 대량의 데이터를 가공해서 분석하는 것이죠. 영업 기획을 비롯하여 주변의 많은 실무자들이 R이나 SQL, SAS를 배우는 게 유행처럼 되어가는 데는 비단 '빅데이터'라는 이슈만이 아닌 실제적으로 이런 내외부의 상황이 맞아 떨어지기도 하기 때문입니다. 자신이 원하는 테이블을 가지고 원하는 분석을 보다 빠른 시간에 해내려고 나름의 노력을 하고 있는 것입니다.
하지만 모두가 코딩을 하면서 데이터를 추출할 수는 없습니다. 모든 실무자가 이걸 해서는 안되기도 합니다. 이런 것은 몇 사람만이 해야 하는 일이며 나머지는 정말 실무를 바쁘게 하는 게 맞습니다. 그러기에 최근의 BI는 더욱 높은 수준을 요구하기 시작했습니다. 대부분 기존의 정형화 레포트 수준을 뛰어넘는 높은 자유도를 가진 비지니스 인텔리전스를 원하고 있습니다. 물론 디스플레이 하는 방식도 전보다 훨씬 직관적이고 다양한 디바이스에서 가능한 수준을 원하고 있습니다. 데이터 가공 능력이 있는 인재가 제한적인 상황에서 BI의 역할은 이토록 무거워지고 있습니다.
데이터 활용은 전사적 차원의 숙제
하지만 방향을 알았다고 해서 문제가 해결되지는 않습니다. 비지니스 인텔리전스를 바꾸는 작업을 한다고 해도 여전히 비지니스를 잘 모르는 엔지니어가 다시 이것을 대부분 만든다면 여전히 사용자 입장이 배려된 BI는 탄생하지 못할 것입니다. 물론 바쁜 실무자들이 이 일이 성과 목표가 아닌 다음에야 열심히 참여할 이유도 없습니다. 결국 실무의 경영진에서 이것에 대한 높은 관심이 이루어져야 합니다. 엔지니어는 단순히 프로그래밍의 수준을 넘어 컨설턴트로서 동종이나 비슷한 산업군의 사례를 가지고 사용자에게 많은 옵션을 제공해 줄 수 있는 능력을 함께 갖추어야 합니다. 실무자들은 실제 엄청나게 화려한 인터페이스나 고퀄의 디자인을 원하는 것이 아닙니다. 최근 UX/UI의 향연이지만 실제로 실무자가 정말 원하는 것은 데이터 그 자체입니다. 정합성이 높고 높은 자유도로 접근할 수 있는 데이터의 퀄리티가 보장되면 그것 위에 덮인 것은 아무래도 참을만 하기 때문입니다. 기존과 다른 실무자에 대한 데이터 제공의 방법을 근본적으로 바꿀 때가 된 것입니다.
고민해 봐야 하는 것은 지금까지 정말 실무자 중심의 비지니스 인텔리전스 였을까 하는 것입니다. 비싼 개발비의 목적이 고작 높은 분들이 보는 보고서에 쓸 데이터를 가공하는 일을 실무자가 하는 것이라면 '회사는 누가 실제로 움직이는가'가 이 기업의 첫 번째 질문이 되는 게 마땅합니다. 비지니스 인텔리전스의 변화는 여기서 출발합니다. 그것은 경영자의 숙제이기도 합니다.
