[퓨처잡] 데이터 속에서 기회를 잡아라 2편
데이터 관련 직업 2편
유망직종으로 떠오르는 데이터 관련 직업들에 대해 알아보고 있는데요, 지난 번 ‘데이터 과학자’와 ‘데이터 분석가’에 이어 이번에는 ‘데이터 엔지니어’와 ‘데이터 설계자’에 대해 알아보겠습니다.
| 데이터 엔지니어 (Data Engineer)
데이터 엔지니어는 분석을 위해 데이터 인프라를 만드는 전문가인데요, 원시 데이터에서 최적의 데이터를 추출하고, 필요에 의해 데이터가 변환 및 로딩될 수 있도록 인프라를 구축합니다. 주요 임무는 실시간 분석을 가능하게 하는 다양한 빅데이터 기술을 결합하여 데이터가 자유롭게 흐르는 파이프라인을 구축하는 것입니다. 데이터 파이프라인과 관련하여 시스템을 구축, 테스트, 유지 및 관리하는 작업들을 수행합니다.
데이터 엔지니어가 구축한 데이터 인프라를 기반으로 데이터 과학자가 머신러닝, 알고리즘, 인공지능 등을 만들게 되는데요. 그렇기 때문에 데이터 과학자가 R, SPSS, Hadoop 및 고급 통계 분석 도구를 사용한다면, 데이터 엔지니어는 이러한 도구를 지원하는 SQL, MySQL, NoSQL, Cassandra와 같은 프로그램들을 사용합니다.
데이터 엔지니어 대부분이 소프트웨어 엔지니어링 경험이 있기 때문에 Java, Scala, Python, C / C++과 같은 프로그래밍 언어에 능숙한데요. 이 외에도 빅데이터를 수집, 관리, 분석하기 위한 분산 시스템 개발 능력도 필요합니다. Netflix의 선임 소프트웨어 엔지니어이자 데이터 플랫폼 팀의 일원인 Ryan Blue는 특정 기능에는 고유한 기술이 필요하기 때문에 데이터 팀에 대한 역할이 더욱 구체적으로 바뀌고 있는 추세라고 합니다.
데이터 엔지니어는 데이터 관련 직업 중 수요가 가장 많은데요, PayScale에 따르면 미국 데이터 엔지니어의 평균 연봉은 91,000달러입니다.
| 데이터 설계자 (Data Architect)
데이터 설계자는 고급 전문가로 주로 규모가 큰 기업에서 필요로 하는 직업으로 데이터 엔지니어, 데이터 모델러, 데이터베이스 관리자와 같은 팀의 구성원들을 이끄는 리더 역할을 합니다. 데이터 설계자가 없는 경우 데이터 엔지니어가 데이터를 설계하는 역할을 합니다.
주요 역할은 데이터베이스를 구축하기 위한 청사진을 만드는 것인데요, 데이터를 효과적으로 캡처(데이터 입력의 직접적인 결과가 아니라 서로 다른 관련 활동을 수행한 결과로서의 데이터 입력. 예, 마트 카운터에서 바코드를 입력하면 판매 기록뿐 아니라 재고 관련 데이터까지 캡처하는 것), 통합구성, 중앙 집중화 및 유지관리하기 위한 큰 그림을 그립니다. 이런 과정에서 해당 작업에 적합한 프로그래밍 도구를 선택 및 연결하여 구현 가능한 프레임워크를 만듭니다.
데이터 설계자가 데이터베이스를 구축하기 위한 설계도를 그려내면, 데이터 엔지니어는 설계도에 따라 코딩작업을 하여 시스템을 구축합니다. 구축된 시스템이 실행되면 데이터 설계자는 이를 평가하고, 보완이 필요할 경우 방법을 찾아내 사용자가 정확한 데이터에 접근할 수 있도록 합니다. 또한 비즈니스 운영 방향이 변경될 경우 데이터 설계를 조작하여 새로운 지침에 맞게 시스템을 최적화시킬 수 있도록 지휘합니다.
데이터 설계자는 정교한 설계와 개발기술 응용력이 필요하기 때문에 세심한 성격의 소유자에게 적합한 직업인데요. 시스템 프레임워크를 잘못 설계하여 코딩작업에 들어가면 많은 비용과 시간이 추가로 들 수 있기 때문입니다. 또한 복잡한 개념을 회사의 비전공자들이 쉽게 이해할 수 있도록 전달해야 하므로 의사소통 능력이 뛰어나야 하고, 회사의 요구사항에 부합하는 시스템을 만들어내기 위해서는 해당 분야에 대한 사업 지식과 통찰력을 갖춰야 합니다.
다양한 프로그래밍 도구들 중 적합한 것을 선별하여 최적의 솔루션을 설계하는 것이 데이터 설계자의 주요 임무이므로 새로운 시스템과 언어를 끊임없이 배우고 습득해 실력을 업데이트해야 하는데요. 관련 기술 능력으로는 수학, 통계, data visualization and data migration, RDMS(relational database management systems), 데이터베이스 관리 시스템 소프트웨어(SQL), Hadoop, 데이터 마이닝 및 모델링 도구(ERWin, Enterprise Architect, Visio), 프로그래밍 언어(Phyton, Jave, C /C++, Perl), 운영체제(UNIX, Linux, Solaris, MS Windows), 응용 프로그램 서버 소프트웨어(Oracle), Backup/ Archival software 등이 있습니다.
PayScale에 따르면 미국에서 데이터 설계자의 평균 연봉은 113,000달러 입니다.
빅데이터 시대에 필요한 데이터 관련 직업들에 대해 알아봤는데요, 채용 시 가장 중요하게 생각하는 공통점은 경험이라고 합니다. 경험은 즉 실력을 의미하는데요. 학벌, 배경, 외모와 같은 외적 조건에 대한 선입견이나 편견 없이 오롯이 실력 하나만으로 진검승부할 수 있는 직업 세계라는 생각을 해봅니다.
photo copyright. pexels & unsplash
