빅데이터 입문자를 위한 안내서를 시작하며

브런치에 빅데이터 관련 글을 쓰게 된 이유

빅데이터 회사에서는 어떤 일을 할까?

우리는 현재 빅데이터 시대에 살고 있다. 그러나 많은 사람들이 빅데이터 회사가 하는 일에 대해 구체적으로 잘 알지 못한다. 나 역시도 2년 간의 IT 회사 경험이 있지만, 현재 근무 중인 회사를 다니기 전까지는 빅데이터에 대해 막연하게만 알고 있었다. 어쩌면 대학교 3학년 때 해봤던 뉴럴 네트워크가 데이터를 다뤄본 마지막 경험이었을 것이다. 그렇기 때문에 현재 회사에 내가 지원한 공고의 직무도 정확히 모른 채 이력서를 제출했었다. 

지원한 직무명은 '빅데이터 플랫폼 구축 및 운영'이었다. 입사 전에는 어떤 솔루션을 개발하고, 고객사에 납품하는 직무라고 생각했었다. 그러나 입사하고 보니 내가 생각한 것과 사뭇 달랐다.

01

빅데이터 회사의 직무 - 구축, 운영

구축, 운영 직무는 실제 고객사 사이트에 방문해서 하둡부터 필요한 모든 것들을 서버에 설치하고, 클러스터를 구축하는 등의 일을 한다. 프로젝트에 투입이 되는 경우 해당 고객사에서 상주하면서 근무를 하거나 외근을 나가고, 지방으로 출장을 가기도 해 사무실에 없는 일이 많았다. 

또한, 고객사 별로 환경이 다르기 때문에 구축 과정에서 어려움을 겪기도 한다. 그렇기 때문에 하둡 컴포넌트에 대해 빠삭하게 알고 있어야 하며, 다년간의 경험으로 쌓인 노하우가 이를 해결하는데 큰 도움이 된다.

운영 업무는 플랫폼의 안정적 운영, 성능 튜닝, 클러스터 증설 및 모니터링 등을 수행한다. 평상시 업무 강도가 높은 편은 아니지만 장애나 이슈, 서버 점검 등에 대해 대응해야 하기 때문에 야간작업이 때때로 있는 편이다.

구축과 운영 외에도 고객의 데이터를 분석해서 인사이트를 도출해주는 데이터 분석 직무, 자사의 솔루션을 활용해 비즈니스를 컨설팅해주는 데이터 컨설팅 직무, 빅데이터를 처리하는 솔루션을 개발하는 개발 (R&D) 직무가 있다.

02

빅데이터 입문자를 위한 안내서

현재 우리 회사에는 배치와 실시간으로 데이터를 처리하는 두 개의 솔루션이 있다. 

빅데이터 처리 방식 예시

나는 실시간 처리 솔루션 개발 팀에서 웹 프론트엔드 개발자로 성장해나가고 있다. 웹 프론트엔드라고 웹만 알면 되는 것이 아니다. 플랫폼 구축, 운영 업무를 담당하는 사람들이 쓸 솔루션을 만드는 일을 하기 때문에 빅데이터와 관련된 지식이 필수이다. 

입사 초반에는 처음 듣는 용어들과 수많은 하둡 에코 시스템으로 인해 멘붕 아닌 멘붕을 겪었었다. 그 당시 동기들과 스터디를 하면서 어려운 기술들을 자세하게 설명해주는 내용보다 간략한 내용으로 감을 익힐 수 있도록 도와주는 책이 있으면 좋겠다고 생각했다. 

지금도 수많은 에코시스템을 하나부터 열까지 정확히 아는 것은 아니지만 그 당시 내가 느꼈던 생각을 똑같이 하고 있을 입문자들에게 내가 정리한 내용을 공유해보면 어떨까라는 생각이 들었다.

해당 매거진은 빅데이터 분야의 입문자를 대상으로 하기 때문에 빅데이터에 대해 어느 정도 공부한 사람에게는 부족할 수 있다.

입사 후 3개월 간 스터디를 통해 공부하고, 전사 발표했던 내용을 바탕으로 하둡 및 배치와 실시간 처리 솔루션을 구성하는 하둡 에코시스템의 역할에 대해 정리해 나갈 예정이다. 

앞으로 이 매거진의 콘텐츠들이 가볍게 빅데이터를 공부하고 싶은 사람들의 갈증을 해소시켜주고, 빅데이터에 관심은 있지만 너무 많은 기술로 인해 해당 분야에 장벽을 느끼는 사람들에게 도움을 줄 수 있으면 좋겠다.