문과출신 직장인 빅데이터 분석 도전하기
주말마다 시작하는 파이썬 공부
빅데이터를 공부하기로 했다.
#직장인의 빅데이터 공부 계기?!
요즘 들어서는 미래는 어떻게 변화할 것인가? 에 대해서 생각을 많이 하는 것 같다.
단순히 내가 10년 뒤, 20년 뒤 어떤 일을 하고, 어떤 것을 하고 있을까? 를 뛰어넘어서
향후 내가 살고 있는 사회는 어떻게 변화를 하게 될 것이며, 그 변화된 모습이 긍정적 일지 부정적 일지 많은 것을 생각하게 되는 것 같다.
원래 관심을 갖고 있던 한반도 지형을 둘러싼 국가 간의 관계뿐만 아니라, 최근에는 이름뿐인 허상이라고도 하는 4차 산업혁명이라는 단어에 많은 관심을 갖고 있다.
문자라는 것 그리고 인쇄술의 발달, 증기기관의 발명, 정보통신의 발명 등.
수많은 기술들의 발달로 인해서 인류는 나날이 번성해왔다. 아무리 허상적인 부분이라고 해도
책에서나 보던 산업혁명이라는 단어가 내가 살아가고 있는 이 순간에도 변화하고 있다는 사실은 신기한 것 같다. 지금은 새로운 것이고 혁신이라고 생각이 되는 부분도, 미래에는 보잘것이 없는 것이 돼버릴 수도 있지만
조금씩 그 변화를 체험을 해보고 싶다는 생각은 꾸준히 갖고 있는 듯하다.
올해 참가했던 CES ASIA 2018에서 보았던 AI나 로봇, 자동차, 유통 분야 등을 직접 보고 느끼면서 더욱 관심을 갖게 된 것이 아닐까?라는 생각이 들기도 한다.
제조업이라는 카테고리 안에서 일을 하다 보니 더욱 변화의 형태는 어떠할까? 상상의 나래를 펼치는 법이긴 하다. 그래도 공학도가 아니기 때문에 메커니즘 적으로 무언가를 해석하려고 하기보다는, 전형적인 문과적 사고를 갖고 있는 나이기에, 조금이나마 그러한 변화들을 몸소 체험해 보고 싶다는 생각이 들었다.
#빅데이터 공부를 시작하다.
어떻게 보면 이번이 처음이라고 하기는 어려울 것 같다. 2015년 정도 내가 학부생 때 경영학의 한 분야 중 하나인 MIS 쪽 교수님 연구실에서 연구를 할 때가 있었다. 그때 교수님이 나중에 R 같은 빅데이터 분석 기법을 미리 배워두는 것이 좋다고 말씀을 한 적이 있다. 그 당시만 해도 어떠한 기업에서 일을 하게 될 것이라고 생각을 하고 있지 않았기 때문에, 큰 생각을 하고 있지 않았다.
통계 분석이라고 해도 그전에 배우던 SPSS 또는 EVIEWS 정도로 충분히 가능하다고 생각을 했기 때문이다. 사회과학대의 한 전공 수업에서도 교수님이 R을 조금씩 알려주는 것을 보면서도, R이 요즘에 뜨는구나 라는 생각만 할 뿐 별다른 행동을 하지 않고 있었다. 물론 요즘에는 그때 열심히 배워둘걸 이라고 생각을 하고는 하지만, 이미 모두가 그렇듯 뒤늦게 후회를 해봤자, 이미 그 시간은 지나갔다.
빅데이터라는 단어들이 수 많이 들리게 되면서, 과연 그것이 무엇인가?라고 궁금증이 생겼다. 물론 생각보다 그렇게 거창한 것은 아닐지 모르겠지만, 한 번쯤 새로운 것을 배워보는 것도 나쁘지 않겠다는 생각이 들었다. 통계적인 지식은 높은 수준은 아니지만 학부시절에 수업들을 통해서 배웠으니, 한번 배워보는 것도 나쁘지 않겠다는 생각에 시작을 하게 되었다.
파이썬이나 R 등 다양한 TOOL들이 있었는데, 머신러닝이나 데이터 크롤링 들을 나중에 해볼 때는 파이썬이 더 유용할 것이라는 생각에 파이썬을 공부하기로 하였다. 인터넷 강의를 통해서 공부를 해보려고 했지만, 생각보다 내가 인강이랑 맞지 않다는 생각이 들어서, 조금은 비싸지만 오프라인 강의를 8주 동안 매주 들을 수 있는 과정을 등록하였다.
#이제 파이썬 2주 배운 샛 병아리
이제 2주라는 시간 동안 파이썬을 배웠고, 내게는 6주라는 시간이 남았다. 아직은 무언가를 전혀 한다고 할 수 없는 단계이다. 예전에 몇 가지 외국어들을 배웠을 때처럼, 언어 구조가 어떻게 되었는지, 발음은 어떠한지를 초반에 배웠던 것처럼, 파이썬이라는 프로그래밍 언어가 어떠한지, 활용은 어떻게 할 수 있을지 그 범위에 대해서만 대강 유추할 뿐이다.
그렇지만, 새로운 분야를 공부하는 것은 여전히 설레는 일이라고 생각이 된다. 처음에 프로그램을 세팅하는 과정에서 애를 먹어서 몇 시간을 버렸던 것을 빼면, 나쁘지 않은 것 같다. 다만, 내가 이제 시간을 더욱 투자해서 해당 주에 배웠던 내용들을 내 것으로 완전히 만드는 작업을 하는 시간이 더 필요할 것 같다는 생각은 들었다. 최근에 시간적 여유가 생겨서 못 만났던 친구들을 만나다 보니, 예습은커녕 복습을 할 시간이 없었지만, 이제는 좀 더 시간을 할애해서 공부를 해야겠다는 생각을 하고 있다.
첫 주에는 간단하게 오리엔테이션과 함께 서울시 인구현황 데이터를 다운로드하여서 해당 데이터들을 테이블로 가공해서 손보는 정도를 배웠고, 둘째 주에는 그래프를 구성하고, 조금 더 공부를 했다. 강의 자료가 너무 한 단계 한 단계 설명이 잘 되어 있어서 혼자서 좀 더 공부를 해 봐야 하는데, 그러지 못하고 있는 것 같아서 반성을 해야겠다는 생각도 들게 된다.
그래프를 이렇게 곡선 형태로 하기도 하고, 직선의 형태로 하기도 하고, 아니면 막대그래프 등으로 다양하게 데이터들을 표현하는 법을 배우고 있다. 사실 이 정도는 엑셀에서도 구현이 가능한 수준이긴 하지만, 입문용으로 공부를 하면서는 하나둘씩 새로운 것을 알아간다는 점이 좋은 것 같다.
개인적으로 장점은 한번 시작하면 꾸준하게 한다는 점이다. 입문반을 이수하고, 몇 번의 과정을 더 이수를 하고 그다음에는 인터넷 강의 또는 혼자서 공부를 하게 되겠지만, 원하는 데이터들을 막일하지 않고, 추출해 내고 원하는 수준으로 가공해 내는 능력을 갖고 싶다는 생각이 든다. 물론 알고리즘 자체를 내가 짜고 할 수 있다면 좋겠지만, 그 정도보다는 어떻게 기획을 하고 구조가 어떻게 되어있는지 파악을 하는 게 최우선이라는 생각이 들었다.
공부를 한다고 생각을 한다면 결코 유쾌하지 않지만, 위에서 이야기했듯이 여러 가지 변화하고 있는 시점에서 조금이나마 이 변화들을 느껴보고 싶어서 배우기 시작한 만큼 유의미한 결과가 생겼으면 좋겠다. 누군가 처럼 데이터 사이언 테스트가 되어서 데이터들을 마음대로 주무르고 하는 것도 중요하겠지만, 향후 내가 하고 싶은 분야에서 어떻게 효과적으로 데이터들을 나누고 분석할지 아는 것이 나에게는 중요하다고 생각이 든다.
그다지 긴 시간은 아니지만, 남은 시간 동안 예습이나 복습을 지속적으로 하고 간다면, 얼마나 많은 지식들을 습득할 수 있을지 궁금하다. 자기계발이라는 것은 진짜 끝이 없는 것 같다. 언젠가 파이썬에 익숙해지면 더욱 강력한 언어들이 생겨날 것이고, 그때 또 배우지 않으면 도태될 수도 있다는 생각이 든다.
