하이퍼커넥트 Data Analyst 인턴 회고
1년간의 휴학을 마치고 졸업을 하기 위해 다시 아부다비로 돌아가서, 정신없이 1년을 보냈다. 오랜만에 돌아간 아부다비는 코로나 전의 기억보다 훨씬 더 재밌었고, 편안하고, 감사한 일이 많았다. 그리고 4학년이 되면서 졸업 후 진로 방향에 대해서도 많이 고민을 하며 이런저런 시도를 했다.
마음 한구석에는 대학원에 대한 생각이 있었고, 여러 research job도 지원하면서 면접도 봤지만, 결론적으로 리서치 포지션에서는 최종 오퍼를 받지 못했다. Econ/Social Sciences 쪽으로 지원했는데 생각보다 훨씬 강도 높은 코딩 인터뷰와 통계 지식을 요구한다는 사실에 깜짝 놀랐다..ㅎㅎ 지원을 하면서 '내가 정말 리서치/박사 쪽으로 가고 싶은지?'에 다시 생각해보는 계기도 되었다. 이 질문에 명확히 yes가 나오지 않는 것을 깨닫고, IT 회사 & 스타트업의 신입/인턴 레벨 데이터 분석가 (Data Analyst) 포지션도 여러 군데 지원했다.
사실 신입 레벨에서 현업 데이터 분석가 포지션으로 바로 들어가는 게 장벽이 높다 보니, 많은 포지션에 문을 두드렸지만 졸업 직후에 바로 정규직 취업까지 도달하진 못했다. 다만 지원을 하는 과정에서도 많은 걸 배웠고, 현실적으로 아직 내 스킬이나 데이터에 대한 이해도가 바로 정규직으로 들어가기엔 어려움이 있다는 것을 깨달았다. 코딩 테스트, 데이터 과제, 실무 면접등을 보면서 부족함이 많다는 것을 몸소 느끼고는 꼭 정규직만 목표로 하기보다 실무에서 데이터 업무를 경험할 수 있는 인턴십부터 시작하는 쪽으로 목표를 넓혔다.
대부분 스타트업 및 테크 기업들의 Data Analyst 포지션 위주로 지원했는데, 이번에는 지원하면서 내가 궁극적으로 일하고 싶은 직무/회사에 대한 몇 가지 규칙을 세웠다.
1. BI툴만 다루는 업무가 아닌, SQL로 raw data를 직접 다뤄볼 수 있는 직무
2. 1인 데이터 분석가가 아닌, 같이 데이터 분석에 대해 논할 수 있는 동료들이 있고 DA팀이 어느 정도 구축되어 있는 회사
3. 실제 프로덕트 데이터로 분석을 할 수 있는 회사
하이퍼커넥트는 내가 지원한 회사 중 하나였고, 이력서를 제출한 후 SQL 코딩 테스트 - 실무진 면접을 거치게 되었다. 사실 SQL을 실무에서 사용해 본 경험은 없어서, 개인적으로 독학하면서 준비했지만 코딩 테스트의 벽은 꽤 높았고 지원할 당시 이미 다른 테스트를 몇 번 떨어진 상태였다ㅎ 그래도 조금씩 보완하면서 테스트와 면접을 준비했고, 감사하게도 Data Analyst Intern 직무에 합격할 수 있었다.
하이퍼커넥트 Data Analyst 인턴 공고6개월이 지난 지금 전반적인 업무 회고를 해보자면, 스노우에서의 업무와 시간은 '프로덕트 기반 IT 회사에서 기획/분석 업무 맛보기'의 느낌이었다면, 하이퍼커넥트는 사용자가 정말 많은 글로벌 앱의 대규모 데이터를 집중적으로 다루는 팀에서의 역할을 경험할 수 있었다.
1. SQL로 실무 데이터 다루고 일하는 법
이전에 일할 때는 Amplitude라는 BI 플랫폼으로 이미 로깅된 데이터만 봤다면, 하이퍼커넥트에서 일하면서 Google Cloud Platform에 적재된 데이터를 BigQuery로 자유롭게 확인하고 분석을 진행할 수 있었다. 데이터 접근 권한이 많이 부여되었고, 덕분에 실무에서 진짜 raw data로 일할 때 얼마나 복잡하고 고려해야 할게 많은지 깨달았다.
예를 들면 워낙 대용량의 데이터를 다루다 보니 특정 기간의 데이터를 볼 때도 최대한 조건을 잘 설정해서 필요한 데이터만 추출하도록 유의하고, subquery를 활용하여 여러 가지 조건을 적용하도록 하는 등 데이터를 어떻게 추출하고 가공해야 하는지에 대해서 트레이닝이 되었다.
다른 분들이 작업하셨던 문서를 더듬더듬 살펴보고, 보고도 이해가 안 되면 무조건 1:1로 연락을 드려 미팅에서 여쭤보고, 예전에 커밋했던 쿼리 로직을 재구현하면서 조금씩 익혀나갔다. 처음에는 작은 로직 하나 추가하는 것도 떨려서 코드를 커밋하기 약간 무서웠고, '코드를 가지고 일하는 일' 자체에 대한 장벽이 있어서 내가 이걸 해도 되나?라는 두려움도 있었는데, 자리가 사람을 만든다는 말처럼 지금은 꽤나 익숙해졌다.
2. Google Data Studio & Tableau 등 시각화 툴로 데이터를 가공하고 대시보드를 제작하는 법
이전에는 Amplitude만 사용하기도 했고 대시보드로 상대하는 대상이 좀 한정적이었는데, 하이퍼에서 일하면서 아예 처음부터 차트 시각화도 만들어보고 대시보드를 제작하면서 "어떻게 하면 데이터의 인사이트를 사람들에게 더 잘 전달할 수 있을지?"에 대한 고민을 많이 할 수 있었다. 특히나 전사 대상으로 하는, 중요 임원들도 보는 비즈니스 대시보드 등의 관리를 맡으면서 에러 뜰 때는 어디에서 문제가 생겼는지 바로 파악해야 했고, 기능 하나 추가할 때도 다른 테이블/로직과의 dependency를 고려해야 했다.
대시보드를 만들 때는 클라우드 저장소 (ex. GCP)에서 데이터를 가져왔는데, 원천 데이터 테이블의 데이터가 자동화로 업데이트되지 않으면 대시보드의 데이터도 업데이트되지 않는다는 것을 깨달았다. 전에는 Amplitude만 써봐서 데이터 테이블과 대시보드 차트를 잘 연결하고 데이터 적재 → 파이프라인 구축 → 대시보드 생성 → 대시보드 업데이트 자동화의 원리를 이해하는 게 좀 힘들었다. Airflow를 활용한 데이터 배치 자동화를 직접 해보면서 learning curve는 높았지만, 많은 걸 배운 값진 경험이었다.
그리고 기본적으로 그래프를 잘 만드는 법 - 대시보드용 테이블 구축, 각종 필터 설정이나 데이터를 효과적으로 시각화하는 방법 등 - 도 다양한 삽질을 통해 터득할 수 있었다. 특히 인턴 기간 후반에 Tableau를 도입하기 시작하면서 활용법을 배우다 보니 매우 강력한 BI 도구라는 것을 느꼈다. 회사 다니면서 최대한 활용하고 배울 수 있는 교육 세션은 참여하려고 노력했는데, 시각화 도구는 데이터 분석의 일부분일 뿐이지만 여러 가지 툴을 활용해볼 수 있다는 게 재밌었다.
3. Data Warehouse 업무: 엔지니어링 관점에서 데이터를 적재하고 관리하는 법
인턴 면접 때 데이터 엔지니어링 관련 업무도 해볼 의향이 있냐는 질문이 있었는데, 그때는 사실 이게 뭔지 잘 몰라서 '회사에 들어오면 최대한 배우겠다'고 답변을 했었다. 실제로 들어와서 내가 주도적으로 data warehouse 업무를 많이 하진 않았으나, 팀에서 진행하고 협업하는 프로젝트와 각종 논의를 보면서 조금 더 배울 수 있었다.
특히 Data Engineering 조직이 있는 회사에서는 어떤 업무를 많이 진행하고 Data Analyst와 어떻게 협업하는지를 몸소 경험할 수 있었다. 전사 데이터 퀄리티를 개선하는 프로젝트의 진행 방향, 데이터베이스 스키마 설계와 로직 구축 등의 과정에 일부 참여했는데, 데이터를 잘 관리하는 것은 절대로 깔끔히 끝나는 일이 아니고 많은 노고가 들어간다...ㅠ
이전에도 느꼈었지만, 이번에 DA로 근무하면서 데이터 품질의 중요성을 다시 한번 깨달았다. 데이터 엔지니어링 스킬 없이는 아무리 좋은 분석을 적용하려고 해도 무용지물이고, 인프라를 잘 세팅해야지 데이터가 사내에 잘 흐를 수 있다. 분석이나 통계 지식도 중요하지만 엔지니어링 지식 없이 논하는 것은 뜬구름 잡는 일 아닌가? 싶은 생각도 들고.. 아무튼 더 많은 걸 접할수록 생각이 많아졌다.
아직까지는 데이터 엔지니어 분들이 하시는 일을 보았을 때, 현재 내가 가고 싶은 커리어 패스가 이런 쪽과는 다른 것 같지만, 데이터 분석을 하려고 한다면 엔지니어링 관점을 빼고 논하면 한계에 부딪히게 된다는 것을 깨달았다. 데이터 분석을 하면 할수록 더 잘하는 법은 모호하고 어렵다:(
4. 다양한 부서 (PM, Biz, DE, BE)와 협업하고 인사이트 도출하는 법
확실히 이번 회사에서는 내가 일하는 팀/부서 외에도, 다른 부서는 어떤 일을 진행하고 있고 타 서비스는 어떤 것에 집중하는지 파악할 수 있는 visibility가 있었다. 또한 데이터팀 특성상 다른 프로덕트의 방향과 진행중인 주요 분석 아젠다를 공유받을 수 있어서 좋았다.
또한 PM, Biz, Backend, Data Engineering 등 여러 부서와 업무를 진행하면서 이해관계가 얽혀있을 때 어떻게 명확히 커뮤니케이션하고, 작은 사안이라도 주도적으로 미팅을 진행하고 업무를 정리해가는 프로세스를 만들 수 있었다. 이 과정에서 시행착오도 많았고, 커뮤니케이션을 잘 하는 것은 아직 갈 길이 멀다고 생각한다.
특히 일하면서 단순히 나에게 주어진 day-to-day 업무만 반복적으로 진행하다 보면, 내가 스스로 큰 그림을 보거나 특정 분석 업무가 어떤 임팩트로 이어질 수 있는지 생각하는 깊이가 얕아지게 된다. 테크니컬한 부분도 중요하지만, 주니어라고 너무 여기에만 매몰되기보다 서비스/회사가 어떤 사업 전략을 지향하는지 파악하는 것도 큰 그림을 보는 데에 필요하다.
이 일을 왜 하고 있는가? (혹은 왜 해야 하는가?)
이 일은 어떤 실질적인 임팩트를 가져올 수 있는 일인가? (= 가치가 있는 일인지?)
등의 질문에 대한 답이 결여된 채로 일하게 된다면 발전하기 힘들고, 갈수록 회사의 핵심 방향에서 멀어질 것이다.
회사 내 최애 스팟회고 요약:
이번 업무를 계기로 데이터 분석가라는 포지션에 대한 이해도와 더불어, 회사라는 조직 관점에서 일을 하는 것에 대한 이해도와 고민이 한층 깊어진 것 같다. 특히 회사에서는 단순히 '나'라는 개인이 능력 있는 사람이 되는 것과 별개로, 내가 속한 부서/사업이 대우받아야 살아남을 수 있다는 사실을 통감했다 (ex. 최근 테크 업계 레이오프..)
그리고 작지만 특정 업무/서비스의 담당자가 되면서 sync 미팅 아젠다를 준비하거나 미팅을 리드하고, 분석 결과와 이에 대한 질문 follow-up을 책임지면서 여러 관점에 대해 꾸준히 고민하는 과정이 필요했다. 어려움이 많았고 아직 노력해야 할 부분이 많지만, 이 과정이 힘들면서도 꽤 흥미로웠다.
결론적으로, 하이퍼커넥트에서는 보다 넓은 관점에서 좋은 팀/조직은 무엇인지, 조직에서 인정받기 위해서는 어떤 일을 해야 하고 어떤 시야를 갖춰야 하는지 등 조직 구조나 팀 관계에 대해서도 느낀 게 많았던 것 같다. 그리고 한국 회사치고 꽤나 글로벌한 환경에서 일하는 것도 좋았다.
6개월을 끝으로 인턴은 마무리하게 되어 이제 다음 단계를 고민하고 있지만, 전보다는 좀 더 내가 원하는 그림이 명확해진 것 같다 (hopefully). 2023년에는 더 부딪혀보고, 배우고, 의미있는 일을 찾을 수 있길!
