데이터 분석가의 역량 - 프로그래밍
Technical Skillset
Intro
데이터 분석가로 일하면서 가장 많이 받는 질문 중에 하나가 코딩, 프로그래밍에 대한 질문이었다. 나 역시 늘 고민했었던 부분이고, 데이터 분석가를 준비하는데 가장 먼저 준비해야 할 것이 바로 Technical Skillset 이라고 생각한다. 시대마다, 회사마다, 그리고 직책마다 요구하는게 다 다르기 떄문에, 내가 추천하는 방법은 가고자 하는 기업의 Job Posting 을 분석하는 것이다.
예를 들어 나이키 Data Analyst의 경우는 아래와 같은 스킬셋을 요구하고 있다.
Nike Data Analytics Manager Job Desctiption- Version Control - 데이터 분석가도 혼자 일하는 기보다는 Data Scientist나 Software Engineer들과 함께 일하다 보니 git은 필수이다.
- SQL - 데이터베이스에서 데이터를 가져와 파이프라인을 설계하거나 분석을 해야 하기 때문에 쿼리 능력도 기본이라고 할 수 있다.
- Cloud Computing Environment - 대표적인 클라우드 환경인 AWS, GCP, Azure 중 1가지의 경험은 필수적인 것 같다. 점점 On-premise에서 Cloud로 옮겨가면서 클라우드 환경을 구축하는 것은 아니더라도 사용은 가능해야 한다.
- Database Management system - 데이터베이스를 한개만 쓰기 보다는 Postgre SQL, SQL Server, Teradata등 다양한 데이터베이스에서 데이터를 가져와야 하다보니, 다양한 시스템에 익숙해지는게 좋다.
- BI Visualization Tool - 데이터 분석가의 인사이트를 비즈니스 유저들에게 전달하기 위해선 Tableau나 Power BI 같은 BI 툴 하나쯤을 필수적으로 다룰 수 있어야 한다.
아마존의 경우도 크게 다르지 않다. 아마존엔 Buseinss Analyst 와 Business Intelligence Analyst, 그리고 Data Analyst가 모두 존재하는데, Business Intelligence Analyst가 다른 회사의 일반적인 Data Analyst의 롤과 비슷하다고 들었다.
아마존 Business Intelligence Engineer Job Description- ETL: 기본적인 ETL(Extract, Transform, and load) 능력에 대한 부분인 것 같다.
- Design of Experiments: 실험설계(?) 인 것 같은데, A/B 테스트 같은 분석방법론을 적용시킬 수 있는지 물어보는 것 같다.
- AWS technologies: 위와 동일하게 Cloud 환경에서 분석이 가능한지를 요구하는 기술
- Data Science, Machine Learning and Data Mining: Senior 다 보니 데이터 분석가에게 ML 까지 요구하는 것 같다.
- Scripting for automation: 자동화를 위한 Python, R, SQL 같은 스크립트형 언어는 반드시 알고 있어야 한다.
이런 식으로 가고자 하는 기업의 Job Description 을 몇 개만 분석해보면 공통점을 쉽게 찾을 수 있다.
개인적으로는 데이터 분석가의 테크니컬 스킬셋을 아래와 같이 3개로 나눌 수 있을 것 같다. 문제는 시간이 지날 수록 저 교집합이 점점 커지기 때문에 결국에는 데이터 분석가도 데이터 엔지니어링과 데이터 사이언티스트의 영역을 부단히 공부해야 한다는 것이다.
1. Data Analystic Skillset
1.1 Data Preposition(SQL)
- Data Colletincg & Integration: 다양한 데이터 소스에서 데이터를 추출하여 하나로 통합할 수 있는가
- Data Cleaning(Data Validation): 누락된 데이터, 중복 제거, 오류 수정 등 데이터를 검증하여 정리할 수 있는가(SQL)
- Data Transformation: 데이터를 원하는 형태로 변환할 수 있는가
1.2 Data Analysis(Python, Excel)
데이터는 결국 숫자이고, 중요한 것은 거기서 어떤 유의미한 인사이트를 찾을 수 있느냐는 거다. 그럴러면 데이터를 자유자재로 다루면서 분석할 수 있어야 한다. 대표적인 툴이 Python과 Excel이라고 생각한다.
1.3 Data Visualization(Tableau, Power BI)
수집하고, 분석한 데이터를 비즈니스 유저들에게 전달하기 위해서 시각화 툴을 통해 대쉬보드를 할 수 있는 능력이 필요하다고 생각한다. 데이터 분석가는 결국 비즈니스 유저들이 의사 결정을 하는데 필요한 데이터와 인사이트를 주는 사람들이기 때문에 시각화 하는 능력이 필수적이라고 생각한다.
2. Data Engineering Skillsets(Jenkins, Airflow)
데이터 분석가에게 필요한 데이터 엔지니어링 스킬셋은 데이터 파이프라인 구축인 것 같다. Raw Data를 원하는 형태의 데이터로 가져오는데 필요한 데이터 추출, 통합, 변환 등의 일을 Jenkins 이나 Airflow등을 통해서 구축할 수 있는게 중요한 키 인 것 같다. 물론 데이터 엔지니어나 소프트웨어 엔지니어에게 부탁을 할 수 도 있겠지만, 관리 측면에서 직잡 빌드하고 매니지 하는게 훨씬 더 편하다.
3. Data Science Skillsets
데이터 사이언티스트와 일하다 보면, 나는 데이터를 만들어 나르는 역할만 한다고 느낄 때가 많았다. 그 데이터가 어떤 모델링과 알고리즘을 거쳐서 활용되는지는 솔직히 그 데이터를 분석한 데이터 분석가들이 가장 잘 알 수 있는데, 데이터 사이언스 단계를 모르다 보니 그냥 데이터를 공급하는 역할에 그친 적이 많이 있다. 그래서 기본적인 통계학과 머신러닝에 대한 기본적인 지식을 안다면, 데이터 사이언티스트들과 좀 더 효율적으로 일할 수 있을 것 같다.
Conclusion
1. 가고자 하는 회사의 Job Description 을 통해 맞춤형으로 준비하는 것이 가장 효율적이다.
2. SQL - Python - Tableau 는 기본 인 것 같다.
3. Data Analyst의 Technical Skillset이 점차 Data Engineering 과 Data Science 쪽으로 넓어져 가고 있다.
