글로벌 데이터 엔지니어링 인재 육성
8주 집중 실무 인턴십 프로그램
본 인턴십 프로그램은 다년간 대학들과 데이터 엔지니어링 관련해서 해온 경험을 바탕으로 정리한 것이다. 미국에서 20년 넘게 데이터 관련 일을 하고, "우리는 이렇게 왔다: 미국의 테크 기업으로 이직한 토종 한국인 25인의 취업이야기"를 출판하고, Smart Career라는 회사를 설립했다. 데이터에 기초한 직업 선택, 준비, 및 취업 후 경력 개발 등 지속적으로 자신에 맞고 보람을 느끼며 경제적 도움을 줄 수 있는 전문인으로 성장할 수 있는 Career Companion 앱 개발을 하면서 미국 취업 시장에 대해 많은 관심을 가지고 지켜보고 있다.
점점 느끼는 것은 대학을 갓 졸업하고 경험이 없는 사람들을 채용하는 회사들이 점점 줄어들고 있다는 것이다. 최근에는 좋은 대학 컴퓨터 공학과를 졸업하고도 1년 넘게 직장을 잡지 못하는 학생들도 많이 목격하게 된다.
회사 입장에서는 어느 학교, 어느 학과, 무엇을 공부했는지가 중요한 것이 아니라, 채용했을 때 주어진 업무를 오랜 교육 없이 수행해 나갈 수 있느냐가 중요하다. 경험이 중요하고, 프로젝트 실행 능력이나 협업 등 소프트 스킬이 필요하다. 회사에서 요구하는 것들은 책이나 학교 수업으로 배울 수 있는 것이 아니다. 직접 해보지 않으면 배울 수 없다. 그래서 인턴십 프로그램을 강조하고 있고 몇 년 전부터 심혈을 기울여 기획하고 실행하고 있다.
프로그램 개요:
이 8주간의 집중 인턴십 프로그램은 실제 정부 데이터를 활용한 데이터 엔지니어링 프로젝트를 통해 참가자들에게 종합적인 실무 경험을 제공한다. 데이터 이해부터 시작하여 데이터 처리, 분석, 시각화에 이르는 전체 데이터 파이프라인을 경험하게 된다.
인턴십의 중요성:
1. 실무 중심 경험: 신입이라도 실질적인 경험이 없으면 취업이 어려운 현실에서, 이 프로그램은 참가자들에게 실제 데이터를 다루는 귀중한 경험을 제공한다.
2. 프로젝트 전체 주기 경험: 데이터 수집, 처리, 분석, 시각화에 이르는 데이터 엔지니어링의 전체 주기를 직접 경험함으로써 실제 업무 환경에서의 프로세스를 이해하고 적응할 수 있는 능력을 기른다.
3. 다양한 기술 스택 습득: Python, MySQL, Tableau 등 데이터 엔지니어링 분야에서 널리 사용되는 도구와 기술을 직접 사용해봄으로써, 실무에 즉시 적용 가능한 기술을 익힐 수 있다.
4. 데이터 기반 의사결정 능력 향상: 실제 정부 데이터를 분석하고 시각화하는 과정을 통해 데이터 기반의 인사이트를 도출하는 능력을 기른다.
프로그램을 통해 얻을 수 있는 것:
1. 포트폴리오: 8주간 진행한 데이터 엔지니어링 프로젝트는 참가자의 실무 능력을 입증하는 강력한 포트폴리오가 된다.
2. 실무 기술: Python을 이용한 데이터 처리, MySQL을 활용한 데이터베이스 관리, Tableau를 이용한 데이터 시각화 등 실제 업무에서 요구되는 핵심 기술을 습득한다.
3. 데이터 분석 및 보고서 작성 능력: 다양한 보고서 작성 과제를 통해 데이터를 분석하고 그 결과를 효과적으로 전달하는 능력을 기른다.
4. 문제 해결 능력: 데이터 클렌징, 표준화 등의 과정에서 발생하는 다양한 문제를 해결하는 경험을 통해 실무적인 문제 해결 능력을 키운다.
5. 데이터베이스 설계 및 관리 능력: 관계형 데이터베이스와 NoSQL에 대한 이해를 바탕으로 적절한 데이터베이스 설계 및 관리 능력을 기른다.
6. 협업 능력: 프로젝트는 팀 단위로 진행되고, 각각 역활에 진행됨에 따라 협업을 통해 주어진 시간에 결과를 만들어 낼수 있는 능력을 기른다.
주차별 세부 계획:
1주차: 데이터 이해
- 목표: 프로젝트에 사용될 데이터의 출처와 의미 파악
- 주요 과제:
1. Office of Foreign Labor Certification 관련 정보 조사
2. 제공 데이터 유형 및 공개 이유 분석
3. 보고서 작성
2주차: 데이터 수집 및 기초 프로파일링
- 목표: Python을 이용한 데이터 수집 및 기본적인 데이터 프로파일링
- 주요 과제:
1. Python 스크립트를 이용한 데이터 파일 다운로드
2. 기초적인 데이터 프로파일링 수행 (min, max, median, average, null/non-null 등)
3주차: 데이터베이스 구축 및 고급 프로파일링
- 목표: MySQL을 이용한 데이터베이스 구축 및 심화 데이터 프로파일링
- 주요 과제:
1. MySQL 커뮤니티 버전 설치
2. 데이터셋 MySQL 임포트 및 프로파일링
3. 유용한 컬럼 식별 및 분석
4주차: 데이터 클렌징 및 표준화 (1)
- 목표: 데이터 품질 향상을 위한 클렌징 및 표준화 작업
- 주요 과제:
1. 데이터 프로파일링 수행
2. 데이터 클렌징 및 표준화 작업 수행
3. 데이터 클렌징/표준화의 중요성 및 방법론에 대한 보고서 작성
5주차: 데이터 분석 및 OLTP/OLAP 비교
- 목표: Python을 이용한 데이터 분석 및 데이터베이스 시스템 비교
- 주요 과제:
1. 데이터 클렌징 재정의
2. Python을 이용한 보고서 생성
3. OLTP와 OLAP 시스템 비교 분석
6주차: 데이터 클렌징 및 표준화 (2)
- 목표: 심화 데이터 클렌징 및 데이터베이스 시스템 비교
- 주요 과제:
1. 선택된 컬럼에 대한 2차 데이터 프로파일링
2. 2차 데이터 클렌징/표준화 작업
3. 관계형 데이터베이스와 NoSQL 비교 보고서 작성
7주차: 데이터 시각화 (1)
- 목표: Tableau를 이용한 데이터 시각화 기초
- 주요 과제:
1. Tableau 트라이얼 버전 다운로드 및 등록
2. 데이터 파일을 데이터 소스로 연결
3. 기초적인 대시보드 및 워크시트 생성
8주차: 데이터 시각화 (2)
- 목표: 고급 데이터 시각화 및 최종 프로젝트 완성
- 주요 과제:
1. Tableau를 이용한 고급 데이터 시각화 작업
2. 최종 대시보드 및 워크시트 완성
3. 전체 프로젝트 리뷰 및 발표
평가 기준:
1. 기술적 숙련도 (30%): OpenAI API 활용, 코드 품질, 아키텍처 설계
2. 혁신성 (25%): 독창적 기능, 문제 해결 접근 방식
3. 사용자 경험 (20%): 인터페이스 디자인, 사용 편의성
4. 실용성 (15%): 실제 취업 준비에 대한 유용성
5. 발표 능력 (10%): 프로젝트 설명의 명확성, Q&A 대응력
추가 내용:
1. 멘토링 시스템: 각 참가자에게 업계 경험이 풍부한 멘토를 배정하여 기술적 조언뿐만 아니라 커리어 가이드도 제공한다.
2. 팀 프로젝트: 개인 과제와 더불어 팀 프로젝트를 통해 협업 능력을 향상시킬 수 있는 기회를 제공한다.
3. 업계 전문가 세미나: 주기적으로 데이터 엔지니어링 분야의 전문가를 초청하여 최신 트렌드와 실무 경험을 공유하는 세미나를 개최한다.
4. 기술 면접 준비: 프로그램 후반부에는 실제 기술 면접을 대비한 모의 면접 세션을 진행한다.
5. 네트워킹 이벤트: 프로그램 참가자들과 업계 관계자들이 만나 교류할 수 있는 네트워킹 이벤트를 개최한다. 이벤트는 Offline으로 진행 되거나 Hybrid로 진행할때 가능하다.
이 데이터 엔지니어링 인턴십 프로그램은 실무 중심의 경험, 포괄적인 기술 습득, 그리고 업계와의 연계를 통해 참가자들이 빠르게 변화하는 데이터 산업에서 경쟁력 있는 인재로 성장할 수 있도록 설계되었다. 8주간의 집중적인 학습과 실습, 멘토링, 그리고 네트워킹 기회를 통해 참가자들은 단순한 기술 습득을 넘어 실제 업무 환경에서 즉시 활용 가능한 실무 능력과 문제 해결 역량을 갖추게 될 것이다. 이는 곧 참가자들의 취업 경쟁력 향상으로 이어져, 데이터 분야에서의 성공적인 커리어 시작을 위한 탄탄한 기반을 제공할 것이다.
