#2. Big Data보다 Think Big
데이터사이언티스트가 될 줄 알았는데 못되고 있는 사람의 이야기
빅 데이터가 무엇인지조차 가늠하지 못했던 시절이 있었는데 지금 반추했을 때 가장 막연했던 건 역설적이게도 빅 데이터의 개념이었다. 사람들에게 "저 빅 데이터 공부하려고요."라고 말해두면 내가 왜 퇴사하는지 구구절절 설명하지 않아도 되었다. 이른바 '매직 워드' 였지. 문제는 사람들에게는 그렇게 떠들고 다녔지만 정작 내가 퇴사하기로 한 목적인 빅 데이터에 대해서 정의조차 내리지 못한 채 퇴사했다는 것이다.
사실 지금도 크게 달라진 건 없다. 누군가 대뜸 나에게 "그래도 이제 대학원도 졸업했고 나름 현업에서 경력을 쌓아가고 있으니, 빅 데이터에 대해서 좀 조언을 구해도 될까요?"라고 정중하게 묻는다면, 나는 정중하게 "죄송하지만 아직도 잘 모르겠습니다."라고 할 것 같아서 문제다. 아니면 "아, 안타깝게도 파면 팔수록 더 모르겠어요. 정말 모르겠습니다."라고 할지도 모르겠고. 아직도 질문하는 분이 유레카를 외치게 할 정도로 기막히게 정의를 하지는 못하겠다.
다만 한 가지 작게나마 배운 것이 있다면 대용량의 빅 데이터를 처리하는 기술을 공부하기 이전에 어떤 데이터가 주어진다면 그 데이터에 대해서 먼저 깊게 생각해보는 훈련이 더 중요하다는 것 정도다.
무식하면 용감하다고, 대학원에서 3개월 정도 주 2회 배운 어쭙잖은 SQL 실력에 나 자신이 근거 없는 자신감이 붙었었던 적이 있었다. 그 후 몇 개월 되지 않아 입사를 할 수 있었는데, '어떤 데이터셋이던지 맡겨만 달라. 다른 건 몰라도 추출 하나는 자신 있다'라는 마음가짐으로 무장이 되어 있었던 기억이 난다. 결과는? 당연히 나의 자신감은 일주일도 채 안 되어 처참히 와르르 무너져내렸지. 사상누각, 그 이상도 이하도 아니었었다.
회사에는 데이터를 전문적으로 다루는 데이터 조직이 이미 잘 정비되어 있었고, 그들이 웬만큼 가공해서 만들어주는 데이터를 목적에 맞게 추출하고 분석하면 되는 것이었는데 나는 아무것도 모른 채 '추출 잘 할 수 있다'라는 자신감만 가지고 조직에 어떤 가치를 줄 수 있다고 생각했던 것이다. 지금 생각하면 실소가 나올 수준의 마음가짐이었지만 한편으로는 충분히 가능했을 마음가짐이기도 했다. 큰 데이터를 목적에 맞게 내리는 것이 빅 데이터를 다루는 중요한 부분인 건 맞고, 내가 배운 것 중 실무에 바로 접목이 가능한 부분도 그쪽이었으니까. 그리고 무엇보다 퇴사 전의 나와 퇴사 후의 나와의 가장 큰 차이점을 만들어 준 부분 또한 SQL의 간단한 조작이었으니 뭐...
아는 만큼 보인다고, 많이 생각해보지 않았기 때문에 생각이 중요하다는 걸 몰랐다. 물론 지금도 갈 길이 너무 멀다. 이제야 스킬업의 필요성을 느낀다. 그렇지만 좀 더 겸허히 생각하는 법을 당시의 내가 스스로 배웠어야 했다. 데이터의 규모와 멋진 툴을 가지고 유려한 코딩을 하는 게 당장 중요한 것이 아니라는 것을 그때 알았다. 사실 엑셀만으로도 충분하다는 걸 이제는 안다. 이 자료를 왜 추출해야 하고, 추출하는 궁극적 목적이 무엇인지 이해하는 것이 선행된다면 최적화된 상태로 데이터를 추출할 수 있을 것이다. 또한 이 데이터를 오늘 한 번만 쓰면 되는 것인지, 아니면 일정 주기로 반복해서 추출해야 할 니즈가 있는 것인지 등 사용성 관련한 고민도 할 수 있다면 또 다른 이야기가 펼쳐질 수 있을 것이다.
"엑셀만 가지고 해도 돼요. 툴과 크기가 중요한 게 아니에요."
이 말을 듣고 콧방귀 흥 뀌다가 내 인생이 방귀가 될 뻔했다.
기술적인 부분에 조바심이 일어 쉬이 갖기 힘든 여유로운 마음일지도 모르나, 단순히 데이터 추출 노동자가 목표가 아니라면 꼭 짚고 갔어야 했던 부분이었고 짚고 갈 수 있게 해준 누군가에게 감사하다는 말씀을 드린다.
- 최소 격주 업데이트
