데이터 분석 직무에 대한 기대와 현실
데이터 분석가가 마주하게 되는 진짜 실무에 대해
오늘은 제가 데이터 분석가를 꿈꾸던 시절 생각했던 이상과 실제 업무 사이의 간극에 대해 공유해보려 합니다. 아마 '데이터 분석가'라는 직함에서 오는 미래 지향적이고 세련된 느낌 때문에 데이터 분석가가 되면 왠지 생각지도 못한 고차원적이고 대단한 일을 할 것 같다는 생각을 하시는 분들이 많을 것 같아요. 저도 어느 정도 이런 이상을 가지고 있었다 보니, 이상적인 기대만으로 데이터 분석가 직무를 희망하시는 분들께 도움을 드리기 위해 제가 실무를 하며 깨달은 데이터 분석 직무의 현실에 대해 이야기해 보겠습니다.
(*물론, 제가 늘 말씀드리듯 이 글은 제 개인적인 경험에서 탄생한 글일 뿐, 다른 회사에서 다른 경험치를 쌓으신 분들의 의견은 다를 수 있습니다.)
이미지 출처: Unsplash, Luke Chesser 1. 데이터 분석 조직은 서포트 조직이다
물론 회사마다 차이가 있을 수는 있지만, 대체로 데이터 분석 조직은 회사의 프로덕트를 직접 기획하고 만드는 조직이 아닌, 이들을 지원해 주는 조직입니다. 직접 프로덕트 기획의 최전방에 나서서 원하는 대로 의사결정을 할 수 있는 것이 아니라, 기획자 및 상위 의사결정자들이 필요로 하는 분석을 지원해 주는 형태로 업무가 이루어지는 것이죠. 대부분의 직무 소개에서 데이터 분석가는 '데이터를 기반으로 효율적인 의사결정을 위한 인사이트를 도출하는 직무'라고 소개되기 때문에, 직접 데이터를 보고 고찰한 결과를 바탕으로 의사결정까지 주도할 수 있을 거라는 기대를 하게 되는데요. 실제로는 데이터를 바탕으로 무언가의 인사이트를 '제안'할 뿐, 직접 의사결정을 내릴 수 있는 경우는 많지 않기에 생각보다 회사의 방향성에 직접적으로 기여한다는 느낌은 약할 수 있습니다. 데이터 분석가가 A라고 의견을 내도 회사의 전반적인 이해관계 등을 고려해 B로 결정이 나는 경우들도 있죠.
또한, 서포트 조직이다 보니 연관 조직에서 필요로 하는 데이터를 단순히 추출만 해주는 업무도 생각보다 많습니다. 예를 들어, 기획자가 프로덕트 기획 단계에서 궁금해하는 데이터가 있다면 데이터 분석가는 데이터만 추출해 주고 그 데이터를 활용해 기획하는 일은 기획자가 하게 되는 식이죠. 물론 조직의 데이터 리터러시에 따라 각각의 구성원이 어느 정도의 데이터 추출은 직접 할 수도 있습니다. 하지만 보통은 기획자나 상위 의사결정자들이 데이터 분석가만큼 데이터 마트나 테이블에 대한 이해가 많지는 않다 보니 여러 테이블을 엮어 복잡하게 데이터를 추출해야 하는 업무는 데이터 분석가에게 오게 되는 경우가 많은 것 같습니다. 그렇기 때문에 데이터 분석가로 실무를 하게 되면 데이터를 뽑아주기만 하고 의사 결정에는 참여하지는 못하는 업무들도 어느 정도 있을 수 있다는 사실을 감안하는 게 좋을 듯합니다.
2. 거창한 데이터 모델링을 할 일은 별로 없다
데이터 분석가에게 필요한 역량으로 '머신러닝 지식'이 많이 언급되다 보니, 실제 분석가가 되면 아주 거창한 데이터 모델링을 할 일이 많을 거라 예상하시는 분들도 있을 것 같습니다. 사실 저도 그렇게 생각해서 다양한 모델에 대해 공부하고 머신러닝 응용 프로젝트도 해보기도 했는데요. (심지어 딥러닝...도 공부를 했었답니다?) 실제 분석가 실무를 하게 되니 공부했던 머신러닝 기법들을 사용할 일은 거의 없었습니다.
물론 유저 클러스터링을 한다든지 하는 식으로 모델링을 접목하게 되는 업무는 가끔 있을 수 있지만, 그렇다 해도 데이터 분석 업무의 핵심은 '비즈니스 의사결정에 도움이 되는 인사이트를 도출하는 것'이기 때문에 가장 최적의 성능을 내는 모델을 만들기 위해 고군분투하거나 하는 일은 좀처럼 없습니다. 사실 제 생각에 그런 일은 필요하지도 않은 것 같고요. 회사는 주어진 업무 시간 내에 최대한의 결과를 내야 하는 곳이다 보니, 클러스터링을 한다고 해도 머신러닝 연구자마냥 모델을 정교하게 만드는 작업에 시간을 쓰기보다는 유저 그룹을 해석하고 이들의 성향을 분석하는 데에 시간을 쓰는 게 더 바람직하다고 생각합니다.
그렇기 때문에 새로운 머신러닝 기법을 탐구하고 여러 파라미터를 튜닝해 모델을 최적화하는 데에 더 흥미를 느끼는 분이시라면 데이터 분석가 직무보다는 데이터 사이언티스트 직무를 알아보시는 게 더 잘 맞을 것 같다고 말씀드리고 싶습니다.
(*참고로, 데이터 분석가에게 머신러닝 지식이 아예 필요 없다는 의미는 아닙니다. 이전 글에도 언급했듯 머신러닝과 통계적 분석 방법론은 분리해서 볼 수 없는 개념이다 보니, 기초적인 공부는 다 해두는 게 좋다고 생각합니다.)
3. '분석' 업무만 할 수는 없다
어떤 직무든, 핵심 업무 외에 챙겨야 할 주변적인 업무가 존재할 수밖에 없는 것은 당연한 일인 것 같습니다. 데이터 분석 업무도 마찬가지인데요. 그냥 편하게 앉아서 준비되어 있는 데이터를 분석만 하면 되는 것이 아니라, 데이터 자체를 챙겨야 하는 업무도 생각보다 많습니다. 유저 행동 데이터를 사용하는 경우 데이터 로깅이 제대로 되어 있지 않다면 그것도 챙겨야 하고, 데이터 분석 결과가 이상하다면 원본 데이터에 구멍이 있는 게 아닐지 정합성도 맞춰봐야 합니다. 물론 데이터 엔지니어링 팀이 따로 존재하는 회사라면 어느 정도의 데이터 품질 관리는 데이터 엔지니어 분들이 해주시겠지만, 실제 데이터를 직접 활용하는 당사자들만큼 민감하게 이슈를 알아차리지는 못하다 보니 결국 데이터 분석가가 이슈 레이징을 하게 되는 경우도 있을 수밖에 없는 것 같습니다. 데이터 분석에 있어서는 'Garbage In, Garbage Out'이라는 유명한 문구가 적용되다 보니 원본 데이터의 무결성이 굉장히 중요한데요. 그러다 보니 데이터 분석가 실무를 하게 될 때에는 들어가는 데이터가 Garbage가 아닌지 체크하는 것까지 자신의 역할이 될 수 있다는 점을 미리 인지하고 계시면 좋을 것 같습니다.
또한, 생각보다 분석 이전의 '계산' 업무에 시간이 많이 할애된다는 점도 고려하실 필요가 있습니다. 저 역시 예상했던 것보다 데이터를 계산하는 업무에 쓰는 시간이 훨씬 많은데요. 특히나 아주 대용량의 데이터를 다뤄야 하는 경우에는 이를 처리하는 시간이 굉장히 많이 들기 때문에 실제 분석을 하는 시간보다 분석에 쓰일 데이터를 준비하는 시간이 더 걸립니다. 심지어 한 달 치 데이터로 분석을 하기 위해 미리 하루치씩 데이터를 사전에 처리해둬야 하는 경우도 있죠. 그렇기에 데이터를 추출하고 계산하는 과정을 좋아하지 않는 분이라면 데이터 분석가 직무가 잘 맞지 않을 가능성도 염두에 두셔야 할 것 같습니다.
4. 의미 있는 인사이트를 뽑는 건 쉽지 않다
예전의 저는 사실 데이터 분석가가 되면 수행하는 분석마다 회사의 방향성 결정에 의미 있는 임팩트를 가져올 거라는 막연한 생각이 있었던 것 같은데요. 실제 분석가가 되자 의미 있는 인사이트를 뽑는다는 건 생각만큼 쉬운 일이 아니라는 걸 깨닫게 되었습니다. 참고로 여기에서 '의미 있는'은 '실제로 후속 액션을 이끌어내는'이라는 의미입니다.
데이터 분석 결과가 후속 액션으로 이어지려면 (1) 이미 기획자나 상위 의사결정자가 고민하고 있던 분야의 분석이어야 하고, (2) 개선 방향이 명확히 드러나는 결과가 도출되어야 하는 것 같습니다. 그러다 보니 두 가지를 다 충족하기가 쉽지 않은 것 같은데요. 일단, 분석가가 의미 있다고 생각해 진행한 분석에서 나름대로 후속 액션을 검토해 볼 만한 결과가 나왔다고 해도, 그 분야를 마침 고민하고 담당하던 실무진이 있지 않다면 후속 업무로 이어지기는 쉽지 않습니다. 회사는 R&R이 명확히 나눠져 있는 곳이고, 자신이 진행하는 업무가 이미 있는 상황에서 선뜻 새로운 액션을 함께 준비해 보겠다고 나서는 사람은 많지 않으니까요. 그리고 반대로, 이미 기획자나 상위 의사결정자가 고민하고 있던 분야에 맞춰 분석을 준비한다고 해도 결과가 원하는 만큼 명확하게 나오지 않는다면 이 역시 액션으로 이어지기는 쉽지 않습니다.
그렇기에 생각보다 데이터 분석 실무에서는 별다른 임팩트를 내지 못하고 사라지는 분석들도 많으며, 그러다 보니 의사결정에 도움이 되고 있다는 보람이나 자부심을 매 순간 느끼기는 쉽지 않을 수 있다는 점을 알아두시면 좋을 것 같습니다.
이상으로, 제가 생각하는 데이터 분석 직무에 대한 이상과 현실의 차이에 대해 적어보았습니다. 이렇게 적어놓으니 데이터 분석가 직무의 한계점에 대해서만 이야기한 것 같은데, 그래도 회사의 효율적인 의사결정에 영향을 미칠 수 있는 직무라는 점에서 뿌듯하고 보람찬 순간도 분명 많이 존재합니다. 오히려 그렇기에 '기대했던 바와 다른 부분들'에 매몰되어 그 뿌듯한 순간을 느끼지 못하고 데이터 분석 직무에 실망하게 되는 일을 방지하고자 하는 차원에서 이 글을 공유했다고 봐주시면 좋을 것 같습니다. 이상적인 면만 존재하는 직무는 절대 없다 보니, 데이터 분석 직무를 준비하시는 분들도 이 글을 통해 조금이나마 실제 업무 현장에 대한 감을 얻으시고 '진짜 이 직무가 내가 원하는 것이 맞을까'하고 미리 고민해 보시면 더 나은 선택을 하실 수 있으리라 생각합니다. 그럼, 다음에는 더 좋은 글로 찾아뵙겠습니다:)
