데이터 분석가는 뭐해요?

누구나 알기 쉬운 '발버둥 빅데이터'

인생은 B(Birth)와 D(Death) 사이의  
C(Choice)이다

우리는 태어나서 죽을 때까지 수많은 선택에 직면합니다.

점심메뉴를 고르는 것처럼 간단한 선택부터

대학 진학과 취업진로와 같이 삶에 큰 영향을 미치는 선택이 있습니다.

우리는 그때마다 데이터에 기반한 의사결정을 하고 있습니다.

다만, 그것을 인지하고 있지 않을 뿐입니다.

오늘 점심때 무엇을 먹을지 알기 위해 제일 먼저 인터넷 검색을 합니다.

평점이라는 수치형 데이터를 보고, 리뷰 수라는 데이터의 양을 확인합니다.

또 음식 사진이나 식당 분위기 등이 쓰인 리뷰의 긍정, 부정 탐색을 합니다.

대학에 진학할 때나 취업할 때도 마찬가지입니다.

부모님은 "향후 10년 후 유망한 직종 순위"라는 뉴스에서 정렬된 데이터를 확인하고 자녀에게 조언을 합니다.

우리는 취업할 때는 직업의 만족도, 초임 연봉 데이터를 분석한 자료를 유심히 살핍니다.

학사, 석사, 박사를 마치며 어김없이 거쳐야 하는 단계 또한 바로 논문입니다.

논문의 핵심은 바로 데이터입니다. 주장하는 이론을 데이터로 증명하는 단계는 결코 빠질 수 없습니다.

사실 우리는 매일같이 "Time Series Box Plot"이라는 고난도의 분석을 하고 있습니다.

제가 아는 대부분의 대학생, 직장인, 어르신들도 다 하십니다. 바로 아래와 같이.

이처럼 우리는 데이터에 매우 익숙합니다.

마찬가지로 데이터 분석가도 친숙한 일 들을 하고 있습니다.

오늘은 그 일의 세 가지 point를 소개드리고자 합니다.

첫째, 컴퓨팅 사고력에 기반한 업무를 합니다.

회사에서는 개선되어야 할 문제도 있고, 새로 진출하고 싶은 상품이나 시장도 있습니다. 그러면 사장님이 '자 이렇게 하자', 팀장님이 '이 아이디어로 하자' 라고 직관적으로 말하기는 어렵습니다.

급변하는 시장에서 개인의 직관만에 의한 판단은 성공할 확률이 매우 낮습니다. 어떻게 해결할까? 우리는 고민하죠. 그러다 머릿속에 좋은 생각이 떠오르죠.

이렇게 떠오른 아이디어나 생각을 컴퓨터 문제로 바꾸는 것을 컴퓨팅 사고력(Compuational thinking)이라고 합니다.

그럼 컴퓨터로 해결할 수 있는 재료가 바로 데이터 거든요.

데이터를 보고 인사이트(해결의 실마리)를 먼저 찾습니다.

이것을 '데이터를 기반으로 의사결정을 한다.'라고 말합니다.(Data Drienven Decision Making)

다만 데이터를 제대로 볼 수 있는 능력이 있어야 합니다.

회사에서 의미 없는 일부의 샘플 데이터를 보고 보고서의 입맛에 맞게 끼워 넣고 나중에 큰 잘못을 범하는 경우가 수없이 많습니다.

데이터 분석가들은 데이터의 소스 품질을 확인하고, 검증하는 역할을 합니다. 이것을 현실적이고 단계적으로 표현하면 둘째에서 설명하는 업무와 같습니다.

컴퓨팅 사고력(Computational Thinking)

둘째, 데이터를 가지고 노는? 업무를 합니다.

각 단계별 실무에서 겪는 문제와 필요한 업무입니다.

1. 데이터 수집 > 2. 데이터 전처리 > 3. 데이터 시각화 > 4. 통계적 분석 > 5. 모델링 > 6. 현업적용

1. [수집] 실제 데이터가 많다고 해서 들여다보면 한 번도 활용하지 않은 경우가 많아요. 데이터가 수집되는 시스템 설계에 관여해서 분석이 가능한 데이터가 모이도록 합니다.

2. [전처리] 데이터가 분석에 앞서 가능한 형태로 자르고 붙이고 하는 것을 전처리라고 해요.실무 데이터는 데이터 분석 프로그램으로 바로 활용하기까지 많은 정제 작업이 필요합니다. 실무를 아는 사람은 많지만 데이터를 아는 사람은 많지 않습니다.

3. [시각화] 데이터는 엑셀 파일 같잖아요. 그걸 눈에 보이게 그래프도 그려보면 좋아요. 경영층과 여러분의 동료들은 눈으로 보고 '아 이거'라고 공감해야 합니다.

4. [통계분석] 그리고 통계적인 의미를 부여해보죠. 분석한 결과는 수학적으로, 과학적으로 의미가 있어야 해요.  수학, 과학... 다들 싫어합니다. 분석가의 영역이죠

5. [모델링] 정말 의미 있는 분석 결과가 나왔다! 하면 모델링을 통해 프로그램을 만드는 거예요.

6. [현업적용] 그리고 서버, 클라우드 등을 이용해서 현업에 적용하도록 UI 시스템을 만들죠

 자, 이제 여러분 동료들도 버튼 누르고
키보드로 글자 몇 자 입력하면
 "짠" 원하는 결과가 나오죠

셋째, 혼자 하는 일이 아니다.

기업에서의 데이터 분석은 매우 방대한 양의 빅 데이터를 빠른 시간 내에 분석해야 합니다. 그래야 급변하는 기업환경에서 의사결정에 활용할 수 있기 때문입니다.

일을 빠르게 하는 방법은 간단합니다. 바로 여러 사람이 나눠서 하는 것입니다. 관련 직군은 하는 일에 따라서 기획자에서 개발자의 형태로 불리기도 합니다.

최근에는 비즈니스 분석가, 데이터 분석가, 데이터 사이언티스트, 데이터 엔지니어라는 이름으로 불리고 있습니다. 그 직군별 업무와 Background 지식, 부서 등은 아래와 같이 분류할 수 있습니다.

단, 그 경계가 정확히 구분되는 것은 아닙니다.

개인의 역량에 따라서는 기획에서 통계, 머신러닝까지 아우를 수 있는 경우도 있기 때문입니다.

데이터 분석가는 현업에서 얻은 데이터를 분석 툴을 이용해서 시각화하고, 통계분석을 통해 통찰력(Insgiht)을 찾는 일, 그리고 필요한 모델을 설계하는 일을 맡고 있다고 보시면 좋겠습니다.

최근에는 많은 인재들이 데이터 사이언티스트와 엔지니어 직군의 역량도 갖추어 가고 있는 것이 현업 필드의 상황입니다.

데이터 분석가 및 데이터 사이언티스트 직무 분류표