데이터 스미골에서 프로도가 되는 과정
위워크와 같은 플랫폼 회사에서 data enthusiast로(아직 certified 데이터 분석가가 아닌 뭐시기한 단계) 일한다는 것은 절대 반지를 품고 있는 스미골이 된 느낌이다(프로도도 아닌 스미골;;). 그 절대 반지를 끼는 순간 얼마나 내가 그동안 muscle memory에만 의존을 하며 일을 해왔는지를 자각하게 되고, 정보의 저수지(사우론) 앞에서 얼마나 통제력이 없는지 뼈저리게 느끼게 된다.
전도유망한(?) 데이터 분석 수련생의 입장에서 새로운 지식을 배운다는 것은 분명 가슴 뛰는 일이다. 하지만 동시에 지금까지 내가 문제를 해결해왔던 사고 구조를 모조리 해체해 다시 재조립하는 고통의 과정이기도 하다. 내가 위에서 말했듯, 아직도 많은 직무가 직원의 muscle memory에 의존하고 있고 경력직의 네트워크와 커뮤니케이션 능력이 매우 중요하다. 모든 조직이 전 직원에게 특수한 기술을 요구하지 않기 때문일 것이다. 그래서 각자의 specialty가 있는 것이다. 오늘날의 모든 조직은 급변하는 외부 상황에 맞게 애자일 하게 적응해야 하는 도전 과제를 안고 있는데, 이럴수록 소위 짬좀 있는 선배들의 무형의 경험은 오히려 변화의 짐이 될 수도 있다.
비즈니스 데이터는 보통 그 양이 매우 방대하기 때문에 기술적인 스킬에 능숙해지는 것이 매우 중요하다. 나도 처음 데이터에서 열정을 찾았을 때 파이썬이나 R, SQL 등과 같은 프로그램 언어를 다루는 능력이 좋은 데이터 분석가가 되는 가장 중요한 소양이라고 생각했다. 절반은 맞는 얘기지만 공부를 하면서 개인적은 느낀 점은 결국 머신러닝의 예측 정확도를 판가름하는 것은 데이터를 넣는 사람에게 달렸다는 것이다. 이 분야를 마냥 멀리서 바라봤을 땐 기계학습이 모든 큰 문제를 해결할 만능열쇠라고 생각했다, 하지만 데이터 분석가라면 가제트 형사가 되어야 한다고 생각한다.
크고 아름다운(?) 데이터셋을 받았다고 해서 이걸 어디서부터 씨름해야 하나,, 하고 눈 앞이 하얘진다면 귀중한 고객 정보를 가지고도 회사 돈 버는 일에 일조할 수 없을 것이다. 그래서 내가 갖는 데이터 분석의 목적은 1) 회사가 지금보다 돈을 더 잘 벌 수 있는 기회를 제시하거나 2) 회사가 어디에서 돈을 효율적으로 쓸 수 있을지 찾아주는 것이다. 그래서 앞으로 내 브런치에서 여러분들과 얘기하고 싶은 것은 ‘탐험적 데이터 분석(EDA)’ 과 ‘구조적 사고(Structured Thinking)’이다. 특히 구조적 사고에 대해 다루고 싶은데 이는 반드시 데이터 분석만을 위한 스킬이 아니기 때문에 개인적으로 계속 훈련하고 싶은 분야다. 모든 problem-solving에 필수적인 방법론이라고 이해해도 좋다.
구조적 사고란 아직 형태가 없는 큰 문제에 대해 문제 해결 프레임워크(Framework)를 씌우는 과정이다. 따라서 구조적 사고에는 정답이 없다. 데이터에 직접 손을 대기 전에 지금까지 내가 가지고 있는 모든 지식(domain knowledge)과 경험(experience)을 총동원해 문제 해결 과정을 탐구하는 것이다. 구조적 사고를 통해서 해당 문제를 더 큰 관점에서 이해할 수 있고 문제 해결이라는 목표에 가장 빠르게 갈 수 있는 길을 세울 수 있다.
그래서 저의 브런치 이름도 jab & wrestle 인 이유입니다. 비구조적인 문제 해결을 위해 툭 툭 쨉도 날려보고 씨름도 해보려는.
무언가에 대해 고민할 때 아이디어를 막 던지는 것보다 구조화된 틀을 만들어 생각하는 행동은 큰 범위에서 문제를 바라볼 수 있을 뿐 아니라 어느 곳에서 더 깊게 들여다 봐야할지 알 수 있게 돕는다. 나중에 문제를 해결하기 위한 프로젝트를 진행할 때 더 목표 지향적으로 일을 진행시킬 수 있고 소모적인 idling 시간을 줄일 수 있다. 내가 재밌게 읽은 이노션 국장 남충혁 저 <기획은 2 형식이다>에서 설명한 문제를 볼 때 표면에 보이는 현상에서 더 깊게 들어가 본원적 문제를 찾는 과정도 구조적 사고와 매우 비슷하다(책 강추). 따로 템플릿은 없다. 계속해봐야 한다. 꼬리에 꼬리를 무는 질문을 하나씩 그려보는 방법도 좋고 구름 형식의 브레인스토밍도 좋다. 이러한 사고 과정에 익숙해졌을 때 기술적인 능력과 합치면 큰 일을 이룰 수 있다.
흥미로운 그래프가 있어 가져와봤다. 빨간색 실선은 한 데이터 프로젝트를 완료하는 데에 걸리는 시간(주 / y축)과 본인의 데이터 분석 경력(년 / x축)을 나타낸다. 경력이 축적될수록 한 프로젝트를 완수하는 시간은 단축된다. 중점적으로 볼 부분은 만 1년 차, 3년 차 경력으로 나뉜 구간인데, 신입 경력일수록 구조적 사고가 프로젝트 완수에 있어 매우 큰 비중을 차지한다는 것을 알 수 있다. 그에 비해 실제 데이터 분석 스킬의 비중이 작아 보인다(중요하지 않다는 것은 아니다). 그만큼 구조적 사고는 분석의 기초 체력이라고 봐도 무방하다. 또 점점 경력이 올라갈수록 사업환경에 대한 깊은 이해가 중요해진다는 것을 알 수 있다. 구조적 사고의 비중이 줄어든 것은 더 이상 이 사고법이 필요하지 않다는 것이 아니라 그만큼 구조적 사고가 내재화되었다고 보는 게 맞을 것 같다. 그래야 굉장히 모호하고 복잡한 문제를 효과적으로 구조화해 팀에게 프로젝트 업무를 할당할 수 있을 것이다.
구조적 사고는 사람의 사고 능력을 키우는 훈련이라기보다 기존에 생각하는 방법을 조금 더 구조화시켜 논리적으로, 그리고 단계적으로 브레인스토밍을 하는 것이다(기록하면서). 가설을 세우고 연역적 추리도 해보면서 던진 작은 질문들이 모여 한 번에 낼 수 없었던 큰 문제에 대한 답변을 낼 수 있는 것이다.
이러한 구조적 사고를 훈련하기 위해 스스로 말도 안 되거나 모호한 질문을 던져보는 게 도움이 된다. 예를 들면 서울의 인구 중 몇 명이 일요일 오전 9시 30분에 서 있을까?
우선 일요일 아침 9시 30분에 일어나 있는 사람들은 누굴까? 아마 대부분이 교회 갈 준비를 위해 집을 나섰거나 주말 카페 장사/알바를 하는 사람들일 것이다. 내 사회경험으로 미루어보건대 정말 크리티컬한 소개팅이 아닌 이상 일요일 약속 시간은 보통 브런치 시간인 11:30 ~ 14시가 국룰이다. 2020년 6월 기준으로 서울에는 약 976만 명이 살고 있다. 그중 서울에 사는 기독교인은 약 250만 명 정도 된다(통계청 추정치). 그럼 이중 불토를 보냈거나 등의 이유로 오전 예배를 참여 못한 사람들을 보수적으로 계산해 약 60%만 교회를 갔다고 생각해보자. 그럼 종교 활동으로 일요일 오전 9시 30분에 서 있는 사람 수만 약 150만 명 정도 된다. 그리고 주말 오전 오픈은 아무래도 1~2명이 오픈하는 것 같다. 그러니 서울에 있는 카페 수의 1.5배 인원이 주말 카페 오픈 타임 담당일 것이다. 2017년에 서울에 있는 카페 수가 약 1만 8천 개였다고 하니 올해는 계산하기 편하게 프랜차이즈, 개인을 모두 합쳐 2만 개로 보자(베이커리 등도 포함). 그럼 약 3만 명이 출근한다. 그럼 최소 서울 인구의 15퍼센트가 일요일 9시 반에 이미 활동을 시작했다고 유추할 수 있다.
분명 내 답변은 많이 틀렸을 것이다. 하지만 단번에 답할 수 없는 이 질문을 가지고 먼저 큰 범주에서 조금씩 좁혀나갔다. 이렇게 나 스스로 문제를 확실히 이해해야 내가 나중에 데이터를 가지고 무슨 일을 해야 하는지 확실한 그립을 가질 것이다. 그럼 결국 스미골 신세는 벗어날 수 있지 않을까?
“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”
- Albert Einstein
essay by junwoo
photo by analyticsvidhya.com, google images