AI 시대, 데이터 사이언티스트처럼 생각하고 일하기

모두가 데이터 사이언티스트가 될 수 없고, 그럴 필요도 없습니다

데이터를 가지고 문제를 해결해본 경험이 있느냐의 여부는 전문가로 성장하는 게 매우 중요합니다. 데이터를 눈으로 보고 손으로 해석하는 것과 알고리듬을 짜고 실제의 문제를 해결하는 일련의 과정을 거치는 것은 매우 큰 차이가 있습니다. 그리고 그것은 기획보다는 엔지니어의 영역에 가깝고, 이 분야는 보다 많은 전문화된 엔지니어를 필요로 하기 때문입니다. 보다 넓은 기회를 가지고 이 분야에서 성장할 수 있는 확률이 높습니다. 우선 진입을 하고 그 안에서 다양한 커리어를 찾는 것도 좋은 접근방법입니다.

AI 시대에 데이터를 업무에 적극적으로 활용하고, 점차 그 폭을 늘려가는 것은 매우 전략적인 행동이 될 수 있다고 생각합니다. 모두가 데이터 사이언티스트가 될 수 없고, 그럴 필요도 없습니다. 하지만, 데이터 사이언티스트처럼 생각하고 일하는 것은 전 분야에서 매우 중요해질 것입니다. 그것이 바로 데이터 리터러시 또는 시대가 요구하는 데이터 역량의 흐름이 될 것이기 때문입니다. 

데이터 사이언티스트가 아니라 데이터 사이언티스트처럼 생각하고 일하는 경험이 더 중요합니다.

https://hbr.org/2013/11/how-to-start-thinking-like-a-data-scientist   

- 보다 정확한 이해를 이해서는 원문을 모두 읽어보시길 권장합니다. 

- 아래 내용은 위 글을 적당하게 번역한 글입니다.

데이터는 모든 산업, 기업, 직업의 구석 구석에 천천히, 하지만 꾸준히 스며들고 있다. 데이터에 능숙하지 않고, 기본적인 데이터 분석을 할 수 없으면 조금 더 복잡한 분석의 결과를 해석할 수 없다. 데이터 과학자들과 커뮤니케이션할 수 없는 매니저들은 이미 불리한 위치에 놓여 있다. 데이터에 정통한 매니저들을 많이 확보하지 못하고, 그 숫자를 꾸준히 늘리지 못하는 기업들 또한 위와 비슷하게 불리한 포지션에 놓여 있다고 볼 수 있다.

다행히도, 당신이 데이터로부터 유용한 통찰을 얻어내기 위해서 데이터 과학자나 베이지언 통계학자가 되어야만 하는 것은 아니다. 이 포스팅은 새로운 것들을 받아들일 (그리고 연필, 종이, 계산기 또한) 준비가 된 사람들을 돕기 위해 내가 20여년 간 사용해 온 연습 방법을 소개할 것이다. 하나의 포스팅이 당신을 곧바로 데이터를 잘 다루는 사람으로 만들어 줄 수는 없지만, 데이터를 이해하는 것, 스몰 데이터가 주는 수많은 기회들에 눈을 뜨는 것, 데이터 과학자 혹은 분석가 그리고 그 밖의 모든 수량적인 것들을 가지고 일할 때 좀 더 효과적이 되도록 도울 수는 있다.

이 연습 방법은 초보적인 내용이지만, 각각의 연습 단계들은 변화에 대한 이해부터 시각화에 이르기까지 분석에 있어서 중요한 개념들을 표현하고 있다.

먼저, 직장에서 당신을 흥미롭게 만드는 것에서부터 시작해보자. 계속 늦게 시작되는 미팅처럼 당신을 귀찮게 하는 일들도 좋다. 어떤 것이든, 그것을 가지고 질문을 만들고, 그것을 적어보라. “미팅은 항상 늦게 시작하는 것 같다. 이게 사실인가?”

다음으로, 당신의 질문에 답을 줄 수 있는 데이터들에 대해 생각해보고, 이 데이터들을 만들어내기 위한 계획을 짜라. 데이터를 수집하기 위해 필요한 정의들을 내리고, 데이터를 수집할 방식을 적어라. 위 예시의 경우라면, 당신은 미팅이 시작하는 시점이 언제인가를 정의해야 한다. 누군가 “좋아, 이제 시작하자”라고 하는 시점에서 미팅이 시작하는가? 미팅의 주요 의제가 나오는 시점이 시작점인가? 모여서 잡담을 하는 것도 미팅을 하는 것이라 볼 수 있는가?

이제 데이터를 수집하라. 수집한 데이터에 대해 믿음을 가지는 것은 매우 중요하다. 그리고, 당신은 이 연습을 진행하면서 십중팔구 데이터 수집과 관련하여 부족한 부분들을 발견하게 될 것이다. 예를 들어 당신은 이미 시작했던 미팅이 상사가 들어오면서 다시 시작되는 경우를 만날 수도 있다. 연습을 진행하면서 필요하다면 정의 및 데이터 수집 방식을 수정하라.

아마도 당신은 예상한 것보다 일찍 문제에 대한 어떤 그림을 그려볼 수 있게 될 것이다. 좋은 그림은 데이터를 이해하는 것, 그리고 주요 포인트를 다른 사람들에게 전달하는 것들을 쉽게 만들어준다. 여러 좋은 도구들이 도움을 줄 수 있지만, 나는 처음에는 손으로 그림을 그려보는 것을 선호한다. 내가 가장 먼저 참고하는 것은 x축에 날짜와 시간을, 그리고 y축에 관심 대상 변수를 그린 시계열 도표다. 즉, 아래 그래프에 있는 한 점은 (큰 이미지를 보려면 클릭하시오) 미팅이 일어난 날짜와 시간, 그리고 해당 미팅이 몇 분 늦게 시작했는지를 보여준다.

이제 원래 질문으로 돌아가서 요약통계를 작성하라. 답을 찾았는가? 이 경우, “2주간, 내가 참여한 미팅 중 10%만이 제 시간에 시작했다. 그리고 평균적으로 미팅은 예정 시각 대비 12분 늦게 시작했다.”

하지만 여기에서 그만두지 마라. “그래서 뭐?” 라는 질문에 대해 대답하라. 이 경우, 그 답은 다음과 같다. “만약 조사한 2주간이 일반적인 경우라면, 나는 하루에 1시간을 허비하는 것이다. 그리고 그것은 회사에 연간 X달러의 비용을 끼치는 것이다.”

많은 분석들이 중단되는 이유는 “그래서 뭐?” 라는 질문이 없기 때문이다. 미팅의 80%가 예정 시각에서 몇 분 이내에 시작한다면, 원래 질문에 대한 답변은 당연히 “아니다, 미팅은 대부분 제 시각에 시작한다”가 될 것이며, 여기에서 더 이상 무언가를 찾아보거나 질문해볼 필요는 없을 것이다.

하지만 몇몇 분석이 그렇듯, 이 경우에는 추가적인 질문을 필요로 한다. 변화에 대한 감을 잡아야 한다. 변화에 대한 이해를 가지는 것은 전체적인 문제에 대한 이해도를 높이고, 더 깊은 통찰을 가져오며, 문제 개선을 위한 새로운 아이디어를 제공한다. 그림을 참고해보면 보통 미팅은 8~20분 가량 늦게 시작하는 것을 알 수 있다. 몇몇 미팅은 제 시각에 시작하고, 다른 미팅들은 30분씩이나 늦게 시작한다. 만약 이를 보고 “예상 시각보다 10분 늦게 가도 괜찮아, 그 때 즈음에 미팅이 시작할 거야”라고 판단할 수 있다면 좋겠지만, 여기에서는 변화가 지나치게 크다.

이제 질문하라. “혹시 데이터가 다른 것들을 보여주는가?” 나는 다섯 번의 미팅은 정확히 제 시각에 시작하고, 다른 미팅들은 최소 7분 이상 늦게 시작하는 것을 발견했다. 이 경우, 미팅 관련 노트를 확인해본 결과 이 다섯 번의 미팅은 모두 재무 담당 부사장이 주관한 것이었음을 알 수 있었다. 그녀가 주관한 미팅은 분명히, 그리고 전부 제 시각에 맞춰 시작한다.

이제 어떻게 해야 할까? 또 다른 중요한 다음 단계가 있는가? 이 예제는 일반적인 이분법적 상황을 보여준다. 개인적 차원에서 볼 때, 이 결과는 “흥미도” 테스트와 “중요도” 테스트 두 가지에 모두 합격점을 얻을 것이다. 우리들 대부분은 하루에 한 시간을 더 갖기 위해서라면 무엇이라도 할 것이다. 그리고 비록 당신 혼자서는 모든 미팅을 제 시각에 시작하도록 만들 수 없겠지만, 만약 부사장이 할 수 있다면, 최소한 당신이 주재하는 미팅에 대해서는 제 시각에 시작하도록 만들 수 있을지도 모른다.

회사 차원에서 본다면, 지금까지의 결과는 흥미도 테스트밖에 통과하지 못한다. 당신이 얻은 결과가 일반적인 것인지, 또 다른 사람들이 부사장처럼 미팅 시작 시각을 엄격하게 관철할 수 있는지는 알 수 없기 때문이다. 하지만 이 결과를 좀 더 깊이 살펴볼 필요는 분명히 있을 것이다. 당신이 얻은 결과가 다른 사람들이 회사에서 경험한 것과 일맥상통하는가? 평소보다 더 심각한 날들이 있는가? 다자간 통화와 면대면 미팅 중 어떤 것이 더 늦게 시작하는가? 미팅이 시작하는 시간과 가장 직급이 높은 참가자 사이에 혹시 어떤 관계가 있는가? 다시 처음 단계로 돌아가서, 다른 질문들을 만들어 제기하고, 지금까지의 과정을 반복하라. 한 번에 최대 2개, 혹은 3개까지의 질문에 집중하라.

당신이 이 연습활동을 즐겁게 느끼기를 바란다. 많은 사람들은 데이터에서 본능적 즐거움을 느낀다. 이 즐거움에 한 번 중독되면, 아마 평생 중독될 것이다. 하지만 그 본능적 즐거움을 경험하든지 그렇지 않든지 간에, 이 연습활동을 가볍게 여기지 말라. “데이터맹”을 위한 자리는 점점 줄어들고 있으며, 사견으로는 더 이상 데이터를 모른다는 변명은 통하지 않을 것이라 본다.

당신이 이 연습활동을 즐겁게 느끼기를 바란다. 많은 사람들은 데이터에서 본능적 즐거움을 느낀다. 이 즐거움에 한 번 중독되면, 아마 평생 중독될 것이다. 하지만 그 본능적 즐거움을 경험하든지 그렇지 않든지 간에, 이 연습활동을 가볍게 여기지 말라. “데이터맹”을 위한 자리는 점점 줄어들고 있으며, 사견으로는 더 이상 데이터를 모른다는 변명은 통하지 않을 것이라 본다.