brunch

브런치북 데이터 분석의 A to Z 11화

라이킷 1 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by HEARTCOUNT팀 May 12. 2021

데이터 기반 의사결정이 잘 안 되는이유Ⅰ

당신이 놓친 것들

어떤 일을 할 이유가 섰다면 우선 그 일을 잘 하기 위한 조건을 찾게 된다. 일이 잘 되는 이유와 잘 안되는 이유는 대개 서로 맞닿아 있다. 하지만, 구체적인 맥락 속에서 남들이 어떤 일을 잘 해낸 이유를 다른 맥락에 처해 있는 내게 그대로 적용하기 조심스러운 측면이 있다. 반면, 잘 안 되는 이유는 일반화하기 상대적으로 쉬운데, 이건 어떤 일이 잘 안 되는 이유는 그 일이 속한 구체적 맥락과 무관한 보편적 교훈을 담고있기 때문이다.

교과서 중심으로 열심히 한다고 다 좋은 대학에 가는 건 아니지만 공부 안 하면 좋은 대학 문턱도 못 가는 이치랄까.

데이터를 기반해, 더 좋은 의사결정을 하자.

늘상 하던 일을 기계가 더 편하고 빠르게 해준다면 고마운 일이다. 자동화 작업을 위해 돈이 들겠지만 자동화는 결국에 비용 절감으로 남는 장사가 될 터이니 기업 입장에서는 무조건 하는 편이 옳다. 문제는 현재 (지식) 노동자들이 하고 있는 일들은 추가로 자동화할 여지가 크지 않다는 것이다.

새로운 일을 배워서 기존 일을 더 잘해야 한다면 피곤하다. 배움에 끝이 없다고 하지만 이건 문장으로 존재할 때만 수긍할 수 있다. 내가 따로 짬을 내어서 뭘 배워야 한다면 일에 대한 염증, 일 시킨 사람에 대한 역정이 모락모락 치밀 것이다.

기계학습(AI)은 의사결정 기술이다. 기존에는 비용의 문제로 의사결정을 할 엄두조차 낼 수 없었던 일들이 기계에 의해 자동화되고 있다. 빈번하고 개별 의사결정의 중요도가 크지 않아 잘못된 결정에 대한 책임을 아무도 질 필요없는 “이 책 한 번 읽어 보시렵니까?"내지는 “이 영화 당신 취향 맞지요?”와 같은 나도 잘 모르는 나를 위한 추천/개인화의 영역이다.

개와 고양이를 구분하는 등 인간의 인식 능력을 학습하는 모형을 개발하는 일도 잠재적 활용가치가 매우 크지만, 많은 기업들이 이 보편적인 기술 개발에 매달리는 이유를 잘 모르겠다. 오븐이나 전자렌지를 개발하는 Machine Learning Research 영역과 오븐이나 전자렌지를 활용하여 맛있는 요리를 만드는 Applied Machine Learning 영역의 구분에 대한 이해가 명확하지 않은 것이 한 이유일 수 있겠다.

기계학습 기술이 적용되는 다른 하나의 영역은 데이터 기반 의사결정이다. 여기서 의사결정의 주체는 기계가 아니라 사람이다. 기업의 활동이 연속된 의사결정들로 구성되어 있고 의사결정의 질이 기업 성패를 좌우한다는데 개념적으로 쉽게 동의할 수 있다.

우리의 의사결정 기준이 a.진화의 산물인 본능 + b.개인의 구체적 경험과 학습의 총체인 인식능력(Mental Model)에 있었다면 자그마치 4차 산업혁명 시대에 a.+b.에 “c.데이터”를 더하여 더 좋은 의사결정을 내리자는 주장에 누가 반박할 수 있겠는가?

기업의 구성원이 모두 다 각자의 자리에서 더 좋은 의사결정을 내린다면

우리 회사가 무조건 더 잘 될 터인데 왜 데이터 기반 의사결정(데이터 분석)이 잘 안 될까?

데이터 분석이 어려운 이유

A. 쓸만한 데이터가 없다.

“쓸만한 데이터가 없다”라는 말은 사실 내 비지니스(업무)가 데이터에 대한 의존도가 크지 않은 가만히 내버려 두어도 알아서 굴러가는 비지니스(업무)라는 이야기다. 위에서 이야기한 a. + b. 만으로도 두리뭉실한 “이야기"를 팔면서 살아올 수 있었다는 이야기다.

전략적이라는 말은 필연적으로 현상의 뒤에 숨은 질서를 파악해 미래의 불확실성을 줄이는 행위를 포함한다. a. + b.만으로는 전략적인 제스처를 취할 수 있을지언정 전략적인 행동을 하기는 어렵다.

쓸만한 데이터가 없다는 이야기는 내가 또는 내 사업이 전략적이지 못했다는 고백이다. 전략적이기 위해서는 운영(Operation)의 과정에서 쌓인 데이터를 통해 내가 하는 일 속에 담긴 질서를 파악하여 내가 하는 일의 대한 인식의 깊이와 정확도를 높여야 한다. 이 과정을 통해 쓸만한 데이터가 뭔지도 자연스럽게 파악하게 된다.

그러니, 이제 “쓸만한 데이터가 없다”는 이야기는 “우리한테 필요한 데이터가 A, B, C인데 이게 아직은 없다”고 말 할 수 있을 때까지 하지 말기. 약속~

B.분석 결과가 의미 없다.

여기서 의미가 없다라는 건 “덧없다”, “부질없다”와 같은 존재론적인 함의를 갖는 표현이기 보다는 쓸모, 유용성, 참신함, 완결성 등의 부족함을 탓하는 실용성에 대한 의견이거나 최초에 본인이 취했던 “그게 (우리 나라에서) 되겠어?”라는 회의적 입장을 고수하기 위해 자의적 판단 대신 확률적 판단을 요구하는 데이터 분석이라는 학문의 본질에 대한 조롱의 뜻일 것이다.

세상의 불가해함과 부조리함을 이유로 a.+b.에 c.를 보태는 것에 거부감을 느끼는 사람들의 불가지론적 스탠스에 대해서는 다른 방식의 대처(예를 들면, 강산이 변하길 기다림)가 필요할 것이고 여기서는 분석 결과의 쓸모없음(실용성의 부족)에 대해 따져보자.

분석 결과는 결국 질문(분석 주제)에 대한 답이다. 좋은 질문을 하면 답을 못찾더라도 답을 찾는 과정에서 주어진 문제 영역에 대한 인식의 수준이 부쩍 성장할 수 있지만 좋지 못한 질문(질문이 뻔하거나 정답을 염두에 둔 질문)은 그 정답을 찾더라도 결국 제자리에서 한 걸음도 나아가지 못하게 된다.

이 세상의 모든 기업들에게는 자신들의 서비스나 재화를 구매하는 고객이 있을 터이고, 고객이 경쟁사 대신 해당 기업을 선택한 이유가 존재할 것이다. 그 이유를 발견하고 그 이유를 키워나가는 일에 부서와 역할의 구분이 있을 수 없다.

좋은 질문이란 결국 그 질문의 끝이 고객을 향하고 있어야 하고, 좋은 질문에 대한 답을 데이터에서 찾는 일은 그 과정을 통해서 고객과 자신이 하는 일에 대해 더 깊고 정확히 알게되고 내가 숨어있던 무지의 장막이 드러난다는 점에서 그 자체로 의미 있는 일이다.