brunch

You can make anything
by writing

C.S.Lewis

by 잇다 itdaa Oct 01. 2022

글로벌 전략실, 이런 역량 또 이런 태도가 필요합니다

멘토님 안녕하세요!

최근 하반기 채용 시즌이 시작되며, 굉장히 많은 기업들의 채용 공고가 쏟아지고 있습니다. 저는 데이터 엔지니어링 업무를 희망하고 있고, 그룹형 대기업 계열사이면서 온프레미스 환경이 구축되어 있는 곳에서 나오는 공고 위주로 보고 있습니다.

©Sai Kiran Anagani

그런데 공고를 보다 보면 Job Description에 어떤 일을 하는지, 어떤 데이터를 다루는지, 심하게는 기술 스택이 생략되어 있는 곳도 있어 당황스러울 때가 있습니다.

그래서 보편적으로 온프레미스 환경이 구축되어 있는 대기업들에서 데이터 엔지니어링 업무를 하게 될 경우 어느 정도 크기의 데이터를 다루는지, 얼마나 다양한 데이터를 다루는지, 입사할 경우 일의 기술적 난도가 어느 정도일지 멘토님께 여쭙고 싶습니다.

예를 들면 트러블 슈팅 시 리눅스 등 CS 지식을 깊이 알아야 해결할 수 있는 수준인지, 경우에 따라 오픈 소스를 가져와 내부 코드까지 파악해서 커스터마이징 하는 일도 해야 하는지 등 구체적인 내용을 알고 싶습니다.

멘토님의 직장 경험을 바탕으로 답변을 들어보고 싶습니다!

안녕하세요. 멘티님. 좋은 질문이네요. 데이터 엔지니어링 업무로 어떤 것들을 할 수 있는지, 기술적 난도 및 다루는 데이터의 종류 등 제 경험을 토대로 설명드리겠습니다.

데이터의 크기와 업무 그리고 난도

데이터 크기의 정도는 담당하는 업무마다 상이한데, 일별 수십억 건의 데이터부터 수 천, 수만 건의 데이터까지 그 종류에 따라 모두 다릅니다.

디바이스 센서로부터 수집된 로그 데이터, 상품을 구매한 고객 데이터, 생산 공장에서 나오는 제조 데이터 등 매우 다양한 데이터가 있습니다. 그리고 업무는 경우에 따라 오픈소스를 가져와 내부 코드까지 파악해서 커스터마이징하는 일도 해야 하는 게 맞습니다. 하지만 이러한 경우는 신규 시스템을 구축하거나, 개선 프로젝트를 하는 경우이고, 실제로는 기존에 구축되어 있는 시스템을 운영하고 유지 보수하는 업무를 주로 하지요.

기술의 난도는 상대적인 개념이겠죠? 해당 업무자가 가진 기술 역량에 따라 달라지는 것인데 멘티님이 이야기한 것처럼 CS 지식이 깊을수록 업무를 수행하는 데 훨씬 수월합니다.

잘 아시겠지만, 데이터 엔지니어링을 위해 알아야 하는 기본적인 기술 스택이 있습니다 (하둡, 스파크 등). 물론 이런 기본 기술 스택만을 가지고 업무를 수행하기에는 무리가 있습니다. 서버에 대한 이해, 서버 내에서 업무 수행을 하기 위해 알아야 하는 리눅스 명령어 등을 함께 알아야 업무에 어려움을 덜 수 있을 겁니다. 한 가지 예로 데이터 적재에 대한 요청이 들어왔거나 정합성 검증에 대한 요청이 왔을 때에는 SQL이나 HQL을 통해 이를 수행해야 하기 때문에 DBMS 관련된 지식, HDFS과 NoSQL 관련 지식도 있어야 합니다.

사실 이렇게 다 알아야 한다고 하면 그 범위가 끝이 없겠죠. 멘티님께서 목표로 하는 것이 신입 입사라면, 작은 규모의 데이터라도 AtoZ까지 직접 데이터를 끌어다 적재해 보고, 데이터 처리에 대한 경험을 쌓는 것이 중요합니다. 그리고 온프레미스 환경이 구축된 기업에서 데이터 엔지니어링 업무를 하고 싶다고 하셨는데, 얕게라도 퍼블릭 클라우드에 대한 경험을 해보시는 것을 추천드립니다.