[채용공고 톺아보기] #6 데이터 엔지니어란?
데이터 엔지니어 VS 데이터 사이언티스트 VS 데이터 분석가
레디미의 채용공고 분석 콘텐츠
#6 데이터 직무의 개발자, 데이터 엔지니어
데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트.. 뭐가 뭔지 모르시겠다구요?
데이터 분석, 개발 직무 중에서 고민하는 당신을 위해 준비했습니다!
취업 준비를 시작했는 데 어떤 직무를 선택할 지 고민될 때,
직무를 정한 이후 어떤 경험을 쌓아야 하는지 궁금할 때,
레디미의 <채용공고 톺아보기>를 읽어보세요.
매주 금요일, 레디미가 원티드에 등록된 모든 채용 공고를 분석해드립니다!
다시 돌아온 <채용공고 톺아보기> 시간,
오늘은 데이터 엔지니어에 관해 알아봐요!
데이터 엔지니어는 어떤 직무인가요?
● 데이터 직무는 어떻게 구분되나요?
출처 : 데이터 마케팅 공부방 포스트 (https://post.naver.com/viewer/postView.nhn?volumeNo=27365458&memberNo=4718401)
데이터 직무라니 조금 막연하고 광범위하게 느껴지기도 하는데요.
기본적으로 데이터 직무는 기업 내 데이터와 연관된 다양한 개별 업무,
그리고 그런 업무들의 집합을 의미해요.
그리고 데이터 직무의 경우
데이터 자체에 집중하는 직무와
데이터를 비즈니스적으로 활용하는 것에 집중하는 직무로 나뉘어요.
데이터 자체에 집중하는 직무는
데이터 엔지니어, 데이터 사이언티스트, 데이터 분석가 등이 있으며
데이터 활용 직무의 경우
비즈니스 분석가, 퍼포먼스 마케터, CRM 마케터, HR 분석가, 그로스해커 등이 있습니다.
데이터 자체에 집중하는 직무는
데이터를 수집하고 관리하는 직무,
그리고 데이터를 분석하는 직무로 또 나눌 수 있어요.
데이터를 분석하는 직무는 3가지로 구분할 수 있는데
데이터를 수집 및 관리하는 직무는 바로 데이터 엔지니어,
데이터를 토대로 예측적 분석을 하는 직무는 데이터 사이언티스트,
데이터를 통해 현재 상황을 분석하는 직무는 바로 데이터 분석가예요.
(물론 기업마다 업무 구분과 직무 명칭은 조금씩 달라질 수 있습니다!)
● 데이터 엔지니어 vs 데이터 사이언티스트 vs 데이터 분석가
① 데이터 업계의 개발자, 데이터 엔지니어
데이터 엔지니어는 데이터의 수집 및 관리를 담당하는 직무예요.
데이터 영역을 전문으로 담당하는 소프트웨어 엔지니어라고 볼 수 있어요.
데이터 엔지니어는 S/W 엔지니어, 데이터 엔지니어, DBA라고 불리기도 해요.
데이터를 어떻게 수집할 지, 데이터를 어떤 방식으로 관리할지 고민하며
기업 내 데이터의 흐름을 생성해요.
조직 내 다른 구성원이 기업이 가진 데이터를 잘 활용할 수 있도록 하는 것,
사업에 필요한 데이터를 잘 분석할 수 있도록 데이터 시스템을 관리하는 것이
데이터 엔지니어링 분야의 핵심이에요.
원하는 데이터가 정제되거나 정리되어 있지 않으면
데이터를 활용할 때 시간이 많이 소요되어
업무의 비효율이 발생할 수 있는데요.
그래서 데이터 엔지니어는 데이터 분석가와 데이터 사이언티스트를 비롯한
다른 구성원들이 데이터를 편리하게 사용할 수 있도록
데이터를 발굴한 뒤, 유지 및 보수를 진행하며 데이터를 효율적으로 관리해요.
또한 다른 구성원들이 데이터를 쉽게 이용할 수 있도록 API를 제공해요.
② 데이터 업계의 연구원, 데이터 사이언티스트
데이터 사이언티스트는 데이터에서 나타나는 현상을 분석하여
인사이트를 도출하는 직무예요.
데이터계의 R&D 직무라고 볼 수 있죠.
데이터를 분석해 일정한 패턴을 찾아내고,
그 패턴이 유의미한 것인지 알아내고,
서비스의 시스템을 개선해야 하기 때문에
통계학적 지식이 필요해요.
③ 데이터 업계의 기획자, 데이터 분석가
데이터 분석가는 한 마디로 데이터를 분석하는 직무예요.
기업이 새로운 제품, 서비스를 개발할 때 어떤 데이터를 수집할 것인지 정의하고,
비즈니스의 주요 지표를 정의한 후 분석하며
다른 구성원들이 인사이트를 쉽게 파악할 수 있도록 데이터를 시각화해요.
최근에는 기업의 사원 온보딩에서 데이터 활용 교육까지도
데이터 분석가가 맡아서 담당하는 경우가 많아요.
나는 어떤 데이터 직무를 선택할까?
● 데이터 직무 선택 가이드
데이터와 관련된 직무 중, 어떤 직무를 선택할 지 고민된다면
위 표를 토대로 각 직무가 하는 업무에 대해 고민해보고,
다음과 같은 기준도 고려해보는 것을 추천해요.
데이터 엔지니어의 주요 업무는 무엇인가요?
데이터 엔지니어는 데이터 플랫폼과 데이터 파이프라인 아키텍처를 개발하고 운영해요.
데이터 분석가와 데이터 사이언티스트가 데이터를 잘 활용할 수 있도록
데이터 기반 플랫폼을 잘 구축하고, 데이터를 잘 정리해서 제공하는 것이 중요해요.
더불어 다른 데이터 직군보다도 소프트웨어 개발 역량이 중요해요.
대규모 데이터를 처리하기 위해 분산처리에 대한 기술적 이해가 필요한 경우도 많구요.
또한 데이터 엔지니어의 세부 업무를 정리하자면 다음과 같아요.
● 데이터 파이프라인 구축
- 데이터의 수집, 저장, 가공
• 실제 서비스에서 데이터 수집
• 수집한 데이터를 전처리한 후 저장에 필요한 형태로 가공
• 안전한 목표 저장소에 저장
• 데이터 레이크 및 데이터 파이프라인 시스템 설계, 개발 및 운영
→ 실시간 및 Batch 적재 파이프라인, 정형 및 비정형 데이터 파이프라인 등 다양한 파이프라인 구축 운영
• 데이터 분석 환경 제공을 위한 도구 적용 및 관련 인프라 설계, 개발 및 운영
• 데이터 분석 및 비지니스 요구 사항에 따른 데이터 마트 및 통계 개발
- 데이터 관리 시스템 구축
- 빅데이터 분석 및 자동화 파이프라인 설계
- 대용량 로그 파이프라인 설계, 개발 및 운영
- 클라우드 기반 Data Lake, Data Warehouse 기반 파이프라인 구축 및 API 제품 개발
• Node 기반의 in-house 프레임워크를 통해 크롤러 빌드 및 개선
• 작성된 codebase 를 유지 및 보수하며 지속적인 코드 퀄리티 유지
• 수집된 데이터의 전처리 및 QA를 통해 데이터의 퀄리티 유지
• Node 기반의 in-house request proxy 서비스 관리
● 데이터 처리
- 데이터 소비를 위한 API 구축
• 데이터 분석 대시보드 개발 관련 API 개발과 필요 데이터 수집(Crawling)
- 데이터 플랫폼 아키텍처 구성
- 머신러닝 모델 Feature sotre 제공
- 자연어처리 모델 및 도구 개발
- 데이터 레이블링 플랫폼 설계 및 관리
- 비즈니스 요구사항에 따른 빅데이터 처리 및 서빙 시스템 설계, 개발 및 운영
- 서비스 관련 데이터 크롤링
- 데이터 가공 및 전처리
- 데이터 분석 환경 제공을 위한 도구 적용 및 관련 인프라 설계, 개발 및 운영
- AWS Aurora DB의 운영 데이터 및 서비스 운영 중 기록되는 서버/앱 로그 등을 분석을 위한 GCP
- 크롤링을 통해 외부 데이터를 수집 하고 목적에 맞도록 재가공
- 데이터 관련 클라우드 제품, 솔루션 연구와 실험
● DB 관리
- 데이터베이스 구축
- 오픈소스 DB 관리
- DB의 Document 구조 검토 및 변경
- DB의 Index 검토 및 변경
- DB Atlas 설계/개발 유지
- 서버모듈의 DB 부분(JPA)의 개발/수정
- Application에서 사용하는 쿼리와 DB 데이터구조를 파악하여 성능 최적화
- DB New Feature 및 R&D 테스트를 통한 기술 공유
- On-premise에서 AWS 환경으로 DB 마이그레이션
- BigQuery 적재, Airflow 등의 다양한 도구 이용하여 안정적이고 최적화된 운영 관리
● SQL 튜닝
- Aurora MySQL/IDC MySQL 운영,모니터링,쿼리 튜닝 및 전반적인 서비스에 대한 기술 지원
● DW 구축
- 데이터 웨어하우스 설계, 구축, 운영
- 데이터 분산처리 플랫폼 구축 및 운영
- 대용량 데이터 처리를 위한 인프라 스트럭처 개발
- 데이터 거버넌스 정책에 따른 클라우드 기반 분석 인프라 등 환경 구성
- AWS / Kubernetes 와 같은 인프라 지식을 바탕으로 효율적으로 데이터 컴포넌트 구성
● 추천시스템 구축/운영
- 추천 알고리즘 설계 및 개발
● 대용량/실시간 처리를 위한 분산병렬 시스템 개발
● 신규 서비스에 대한 ERD 설계 및 배포
- 문제 해결에 적합한 클라우드 제품과 솔루션 검토/연구/실험을 통한 해결 방안 도출
● 기타
- 로깅 인프라 (Kafka, Elastic Stack 등)
- 데이터 파이프라인 관련 백엔드 서비스 (수집 서버 등 각종 API 서버, 로그 전처리 시스템 등)
- 데이터를 잘 활용하기 위한 다양한 서비스 (로그 스키마 관리 서비스, A/B 테스팅 실험 플랫폼 등)
- ML/DL 모델 서빙을 위한 서빙 시스템 구축 관리
- 데이터 관련 *Ops 담당
• DevOps, MLOps, DataOps 등 데이터와 관련된 부분의 인프라 및 기반 시스템 운영 관리, 모니터링
데이터 엔지니어에게 요구되는 기술은?
■ 요구 기술
- 프로그래밍, 수학, 빅데이터, 다양한 데이터베이스 지식, ETL 및 BI 도구들에 대한 지식
■ Application and Data
- Python
- SQL
- 쉘 스크립트
- Google Cloud Platform
- Kafka
- Go
- Amazon RDS
- Apache spark
- Airflow
- Google BigQuery
- FastAPI
■ Utilities
- Tableau
- Google Datastudio
- MLflow
■ DevOps
- GitHub
- Docker
- Kubernetes
- Grafana
- Prometheus
- Argo
■ 그외 사용하는 기술, 서비스
- Node.js
- React
- Strapi
- Flutter
- CodeMagic
- Vercel
- Heroku
- Object Storage (MINIO/ S3 등)
- AWS/GCP Instance
- Cornerstone
- DICOM4CHE
- dart
- javascript
- IoT Core
- Dataflow
- Composer
또한 Kaden Sungbin cho님의 티스토리 ( https://kadensungbincho.tistory.com/25 )에서
그 중 특히 중요한 기술 역량에 대해 파악할 수 있었는데요.
데이터 엔지니어의 자격 요건 항목들을 파싱하여 단어들을 word count로 얻어내었을 때 주요 기술 단어들은 다음과 같았다고 해요.
해당 데이터에서 파이썬과 SQL의 역량이 강조되고 있었으며,
Spark 및 Scala에 대한 선호도 역시 높았습니다.
또한 Cloud 역시 주요 요건인 것을 확인할 수 있었습니다.
그 외에 데이터, 프로그래밍 ,ETL, 커뮤니케이션 등이 중요 기술 역량이라고 해요.
데이터 엔지니어에게 필요한 역량은 무엇인가요?
데이터 엔지니어 직군의 경우 사내 DW, Database 관리 등 DBA의 역할을 포함해
추천 시스템, 빅데이터 플랫폼. A.I Product와 관련한 직무 경험과 관련 기술이 요구돼요.
주로 빅데이터 플랫폼인 Hadoop M/R(MapReduce), Hive, Spark와 관련된 기술, 경험을 요구하는 경우가 많으며 프로그램 개발 언어인 java, C, C++, Python 기술을 함께 요구해요.
데이터 엔지니어가 분석 역량, 기계 학습, 머신러닝에 관한 지식/기술/경험을 보유하고 있을 경우 우대한다고 해요.
더불어 데이터 사이언티스트, 머신러닝 엔지니어, 비즈니스 관련 부서 등과 협업하는 경우가 많기에
커뮤니케이션 역량도 중요하다고 합니다.
또한 레디미는 '신입' 채용공고에 포함된 자격 요건과 우대 사항을 분석하여 직무 역량을 파악했습니다.
먼저 자격요건 사항을 정리했어요.
소프트웨어 시스템에 대한 이해
- 컴퓨터 구조, 운영 체제, 네트워크에 대한 이해
- 알고리즘, 데이터구조, OS, 데이터베이스 등 기본적인 전산 지식에 대한 이해
- AWS 기반의 클라우드 서버 환경에 대한 이해와 경험
- 네트워크, 운영체제, 데이터베이스 등 CS 기반 지식
데이터 시스템에 대한 이해
- 분산 환경의 Hadoop
- Spark
- Yarn
- 데이터 가공 및 분산 처리 기술에 대한 이해
- ETL 프로세스, 클라우드 기반 Data Pipeline, Data Lake에 대한 지식과 활용능력
- 데이터웨어하우스 전반에 대한 지식
- 목적에 따른 시스템 설계 역량
- Hadoop Ecosystem에 대한 이해(HDFS, YARN, MapReduce, HBase, Spark, Hive 등)와 경험
개발 역량/지식
- Hadoop
- Java
- Node.js
- shell
- Python
- C
- C++
- NoSQL
- docker 개발
- Tensorflow
- Pytorch
- Scala
- Go
- Julia
- 웹 서비스 개발 능력
- 데이터 분석을 위한 프로그래밍 코드 작성 능력 (python, R 등)
- Docker 환경에서의 개발 경험
- 데이터를 다루기 위한 Python 혹은 R, Java 등의 프로그래밍 능력
- 대용량 데이터 ETL(extract transform load)를 위한 기술적 역량
- Airflow와 같은 workflow scheduler (Prefect, Oozie등)에 대한 이해
- workflow 개발 경험
- AWS 개발 경험
- JVM언어(Java, Scala) 개발 경험
연관 업무에 대한 이해
- 데이터 분석가, 데이터 사이언티스트의 업무 이해
• 데이터를 어떻게 사용해 분석 리포트, 대쉬보드를 생성하는지
• 어떻게 추천 모델을 만들고 개선하는지
데이터 분석, 처리 능력
- 쿼리에 대한 이해
- 데이터 시각화 기술
- SQL/Nosql 등 데이터베이스 사용 능력
- Python 기반의 데이터 처리 경험
- 데이터베이스 설계 능력
- Apache Kafka, Spark, Airflow 등 하나 이상의 (상용, 오픈소스) 데이터 처리 툴 사용경험
- Pandas, MATLAB, R 등 데이터 툴을 다뤄본 경험
- 대용량 데이터/트래픽 처리 경험
커뮤니케이션 역량
- 협업 도구 사용 능력
- 팀워크 기반 업무 수행 능력
- 데이터 분석가, 서비스 기획가 및 데이터 사이언티스트 간의 명확한 커뮤니케이션 능력
- 데이터 분석팀 및 유관 부서와의 원활한 소통을 위한 기본적인 쿼리 작성 능력
- 복잡한 현상을 이해/설명할 수 있는 논리적인 사고와 커뮤니케이션
산업 도메인에 대한 이해
직무와 관련된 경험
- 애플리케이션 개발, 운영 경험
- MySQL(mariadb), MS-SQL 등 RDBMS 경험
- MongoDB/Couchbase, Redis/Memcache 등 NoSQL나 Memory Cache 서비스에 대한 구현 경험
- 퍼블릭 클라우드(AWS)를 활용한 데이터 엔지니어링 및 인프라 개발/운영 경험
- 데이터 엔지니어링 및 인프라 개발/운영 경험
- SQL 문법의 이해 및 사용 경험
- 데이터 솔루션이나 플랫폼 구축 프로젝트 관련 수행 경험
- 개발한 프로젝트를 Docker, Kubernetes 등 컨테이너 기술로 운영해본 경험
- DevOps 엔지니어링에 대한 관심
- CI/CD 및 개발자 플로우에 대한 경험과 지식
- 데이터와 관련한 인프라 및 기반 시스템 운영 관리, 모니터링 경험
- test code 에 대한 이해와 적용
- clean code 에 대해 고민해 본 경험
- Event-Driven System 등을 위한 Kafka 기반의 메시지 시스템 개발 경험
성격, 성향
- 주도적으로 문제를 찾아내고 해결하는 능력
- 기획에 대한 감각
- 책임감을 갖고 꼼꼼하게 업무를 수행할 수 있는 능력
- 높은 에너지와 끈기를 가지고 빠르게 성장하는 능력
- 신규 데이터 관련 기술에 대한 호기심을 바탕으로 프로토타이핑을 즐기는 성향
- 관습화된 상황을 개선하기 위한 분석적 사고 및 문제 탐구 능력
전공
- 컴퓨터 과학, 정보 시스템 관련 학과의 학사 학위
- 수학, 통계 관련 분야의 학위
다음은 우대사항을 정리했어요
개발 경험
- 빅데이터 플랫폼 개발, 운영 경험
- 주요 DBMS 개발/운영 경험
- 알고리즘 설계 및 개발 경험
- 연구과제 수행 경험
- 자연어처리 분석 및 모델 개발 경험
- AWS 또는 기타 Cloud를 활용한 개발, 운영 경험
- JPA, Hibernate 등 ORM 사용과 도메인 모델링 경험
- 빌드/테스트/배포 자동화 경험
- Open API 기반 서버 시스템의 개발 및 운영 경험
- Hadoop MR, Hive, Spark 등 분산 처리 기술 관련 개발 경험
- Python, Java, Scala를 활용한 개발 경험
- 실시간 데이터 분산 처리 시스템 개발 경험
- R스크립트에 대한 이해
- .net 개발 경험
협업 능력
- 팀원과의 원활한 커뮤니케이션 능력
- Agile 경험
데이터 분석, 처리 경험
- Python, R를 활용한 데이터 분석 경험
- 데이터 처리 경험
- Airflow, Apache beam등 데이터 workflow 설계 경험
- 데이터 관리 경험
- 대규모 트래픽 처리 경험
- NoSQL 등을 이용한 대용량 데이터 처리 경험
- 대용량/실시간 데이터 분산 처리 시스템, 아키텍처 설계 및 운영 경험
- AWS, GCP등 클라우드 환경에서의 데이터 파이프라인 구축 및 운영 경험
- GA, Tableau 등 외부 분석/시각화 도구에 대한 지식
- RDBMS 외 NoSQL DB 운영 경험
- 데이터 분석, 딥러닝, 머신러닝 알고리즘에 대한 이해
- Cassandra, Hbase와 같은 컬럼DB에 대한 이해
- 복잡한 구조의 실시간 데이터 병렬 처리 경험
- DBMS에 대한 탁월한 이해
- 통계, 데이터 분석 능력
- Public/Private Cloud 내 대용량 데이터 분산처리 환경 운영 경험
웹 관련 경험
- Flask, React, Javascript 등의 웹 관련 경험
- AWS Aurora MySQL, RedShift 운영 경험
- Hadoop, Hive, Presto, Spark 등 빅데이터 플랫폼 관련 기술 사용 경험
- NodeJS, Typescript, NestJS, GraphQL 사용 경험
- Ansible, Puppet, Chef 등의 Provisioning 툴 사용 경험
- AWS Aurora 혹은 Athena 사용 경험
- Apache Hive, Google BigQuery 사용 경험
- Spark, Zeppelin, Airflow, k8s 사용 경험
- Enterprise Data Warehouse (EDW) 및 Data Mart 구축 또는 운영경험
성격
- 자기 주도적 성향
- 책임감 이고 책임감 있는 분
- 주도적으로 고민하고 문제를 해결하는 능력
직무와 관련된 경험
- Python, Shell 등 언어를 사용하여 운영에 필요한 자동화 업무 경험
- DB 뿐만 아니라 데이터 처리 및 머신러닝에 대한 관심
- ISMS 인증 심사 대응 경험
- 분산 처리 기술에 대한 이해
- 클라우드 환경에서의 데이터 엔지니어링 경험
- 데이터 파이프라인 구축 또는 운영 경험
- 데이터셋 구축에 대해 고민해본 경험
- 데이터 스키마 설계 및 커머스 데이터 수집 경험
- 데이터 분석 플랫폼 구축/운영 경험
- 운영 자동화, 모니터링에 대한 구축 경험
- PostgreSQL, Elasticsearch 등을 활용한 실무 경험
- 크롤링에 대한 경험
- 기본적인 Javascript (ES6) 및 HTML (selector 등) 의 구조에 대한 이해
- DevOps 관련 경험
- 클라우드 서비스(AWS, Azure, GCP 등) 사용 경험
- Kubernetes 클러스터 운영 경험 (Prometheus 등 모니터링, Istio등 service mesh, …)
- Terraform, AWS CloudFormation, AWS CDK 등을 통한 IaC(Infrastructure as Code) 경험
- CI/CD 파이프라인 구축 경험
- Linux 환경에 대한 깊은 이해 또는 트러블슈팅 경험
- Kafka / Elastic Stack / Spark cluster 운영 및 트러블슈팅 경험
- 오픈소스 프로젝트에 기여해본 경험
- 상용 서비스를 개발/운영한 경험
- AWS, Kubernetes, Docker 등의 cloud native 환경에서의 데이터 인프라 구축 경험
- MLOps 관련 데이터 파이프라인 또는 서빙 시스템 구축 경험
- BI를 위한 마트 테이블 생성, 유지 보수 및 데이터 시각화 도구에 대한 지식
- 빅데이터/머신러닝/딥러닝에 대한 관심
- AWS, GCP 등 프로덕션 환경에서 클라우드를 운영해본 경험
데이터 엔지니어의 신입, 경력 채용 비중은 어떤가요?
데이터 엔지니어 직군 역시 경력직을 선호해요.
좀 더 자세하게 설명드리자면,
신입 67건
1년차 119건
2년차 206건
3년차 376건
4년차 380건
5년차 434건
6년차 389건
7년차 379건
8년차 349건
9년차 306건
10년차 304건으로
가장 많은 채용은 5년차 이상의 경력직 채용이었으며, 이후에는 6년차, 4년차, 7년차, 3년차순이었습니다.
신입부터 5년차까지 공고의 수가 늘어나고, 이후에는 점차 줄어들지만
그럼에도 신입~2년차보다는 경력이 많은 사람을 선호하는 것이 재밌었어요.
데이터 엔지니어의 연봉은 어떤가요?
원티드에서 제공하는 자료에 따르면 신입 데이너 엔지니어의 예상 연봉은 약 3,437만원이에요.
해당 데이터는 채용 정보에 포함된 직무별 요구 경력과 연봉을 바탕으로 추정한 예상 연봉 데이터라고 합니다.
연차가 쌓일수록 연봉은 올라가게 되는데,
1년차 데이터 엔지니어의 예상 연봉은 3,594만원
2년차 데이터 엔지니어의 예상 연봉은 4,021만원
3년차 데이터 엔지니어의 예상 연봉은 4,192만원
4년차 데이터 엔지니어의 예상 연봉은 4,760만원
5년차 데이터 엔지니어의 예상 연봉은 5,074만원
6년차 데이터 엔지니어의 예상 연봉은 5,574만원
7년차 데이터 엔지니어의 예상 연봉은 6,008만원
8년차 데이터 엔지니어의 예상 연봉은 6,352만원
9년차 데이터 엔지니어의 예상 연봉은 6,493만원
10년차 데이터 엔지니어의 예상 연봉은 7,687만원이라고 해요.
데이터 엔지니어가 되기 위해서는 무엇을 준비해야 할까요?
1. 가고 싶은 회사에서 필요한 기술이나 자격 요건을 미리 살펴봐요.
데이터 엔지니어 직군 역시 세분화되는 경우가 있는데요.
애널리틱스 데이터 엔지니어의 경우 분석 업무를 지원하기 위해 ETL 잡을 개발하고 운영하며,
데이터 플랫폼 데이터 엔지니어는 데이터 플랫폼 백엔드 아키텍처 및 API를 구성하고 개발해요.
또한 애널리틱스 데이터 엔지니어는 SQL과 중간 수준의 소프트웨어 엔지니어링 작업을 주로 하는 반면,
데이터 플랫폼 데이터 엔지니어는 소프트웨어 엔지니어링과 Devops의 역량을 가져야 하기 때문에,
내가 가고 싶은 회사에서 필요한 기술, 자격 요건을 미리 익히고 준비해야 해요.
2. 관련된 기술과 경험을 쌓아요.
데이터 엔지니어는 소프트웨어 엔지니어링과 빅데이터 기술,
데이터베이스 기술에 대한 이해가 필수적이에요.
그렇기 때문에 Python, Java, Scala 등 주요 랭귀지 코딩 스킬,
빅데이터 분산 처리 시스템 아키텍처에 대한 공부가 필요해요.
데이터 엔지니어에 대한 용어 공부(https://blackrose-one.tistory.com/entry/%EC%8C%A9%EC%B4%88%EB%B3%B4%EB%A5%BC-%EC%9C%84%ED%95%9C-%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%97%94%EC%A7%80%EB%8B%88%EC%96%B4-%EC%9A%A9%EC%96%B4%EA%B3%B5%EB%B6%80AM) 또한 잊지 마세요!
3. 기업이 우대하는 역량을 나의 차별적 역량으로 발전시켜요.
또한 앞서 언급한 것처럼, 그 기업이 우대하는 역량을 나의 강점으로 발전시켜요.
기업이 우대하는 스킬을 익히고,
관련된 부트캠프, 대외활동, 인턴에 참여해요.
4. 인턴쉽을 통해 직무 경험을 쌓아요.
또한 직무 경험을 쌓기 위해서 인턴쉽에 지원하는 것이 좋아요.
여러 프로젝트에 참여하며 어떤 기준으로 접근해 어떻게 개발을 했는지 과정을 기록하고,
다양한 커뮤니케이션 경험을 통해 소통 역량, 협업 역량을 강화하는 것을 추천해요.
오늘은 데이터 엔지니어 직무의 공고를 분석해보았는데요.
앞으로 궁금한 직무가 있다면 언제든 댓글 달아주시길 바랍니다.
도움이 되셨다면 공감, 댓글 많이 부탁드려요 �
IT 인재 인큐베이팅 서비스
[레디미 온보딩 바로가기]
*언더패스는 21년 9월 13일자 이후로 "레디미 온보딩"으로 리뉴얼 되었습니다.
참고 사이트
https://market.dighty.com/contents/?idx=7614796&bmode=view
https://paulsmooth.tistory.com/142
https://post.naver.com/viewer/postView.nhn?volumeNo=27365458&memberNo=4718401
https://inspirit941.tistory.com/6
https://kadensungbincho.tistory.com/20
