주니어 데이터사이언티스트에게 하고 싶은 이야기들
커리어 성장을 위한 기회 탐색과 인터뷰 준비하기
최근에 채용 관련해서 많은 주니어/시니어 데이터 사이언티스트 / 엔지니어를 만나고 있다. 경험상 팀에 지원을 하기 전에 Hiring Manager와 대화를 나누면서 서로 알아가고, 팀과 개인의 fit을 점검하는 과정을 중요시하기 떄문에 채용 후보자와 가급적 면담을 꼭 하려고 한다. 줌으로 30분~1시간 정도를 투자해서 미래의 동료를 더 잘 이해할 수 있다면 이보다 더 중요한 일이 있을까.
이들과 대화하면서 공통적으로 드러나는 몇가지 테마를 엮어서 글로 써두면 좋겠다는 생각을 했다. 비슷한 연차 및 업계 사람들이 하는 고민은 대개 비슷하기 마련이다. 최대한 일반화될 수 있는 주제로 한정했지만, 데이터의 세계는 넓고, 필자의 경험은 제한되어 있으니, 해석은 여러분에게 맡기겠다. (필자가 채용중인 네이버 서치 Data&Analytics팀에 국한된 내용은 팀 블로그의 별도 FAQ에 정리했다.)
어떤 역량을 특화할 것인가?
데이터 사이언티스트에게 요구되는 역량의 종류 만큼이나 다양한 성장 경로가 있다. 필자가 생각하는 주된 성장 경로는 1) 도메인 전문성과 네트워크를 키워 PM 혹은 경영자와 같은 도메인 전문가의 길 2) 통계 및 머신러닝 방법론에 특화된 분석 전문가의 길 3) 개발 및 시스템 역량을 키워 분석 역량을 갖춘 엔지니어로서 성장하는 길 등이다. 여기에 업종 및 기업 규모라는 변수를 더하면 세상에는 정말 다양한 성장의 기회가 존재한다.
개인에 따라 이중 여러가지를 겸할수도 있고, 여러 회사를 거치며 장기적으로는 다양한 역량을 쌓을 수 있지만, 커리어 및 배움의 방향성이라는 측면에서는 한번에 하나씩 선택해서 집중하는 것을 권하고 싶다. 스스로 원하는 성장 경로를 안다면 회사에서 담당 프로젝트를 선택할 때에도, 이직 시기 및 직종을 고민할 때도, 자기 개발을 위해 시간과 노력을 투자할 때도 훨씬 손쉽게 결정할 수 있을 것이기 때문이다. 물론 동시에 여러 기회를 제공하는 포지션도 있을 것이고, 이를 모두 잡는 것은 본인의 역량에 달린 문제다.
이렇게 커리어의 방향성을 결정하면 자신에게 맞는 기회를 찾는 과정이 더 쉬워진다. 예를 들어 데이터 역량을 갖춘 도메인 전문가의 길을 간다면 해당 업종 내에서 다양한 비즈니스 문제를 접하며 좀더 전문성을 쌓을 수 있는 방법을 고민해야 할 것이다. 반면 분석 혹은 엔지니어로서의 성장을 원한다면, 해당 기술의 트렌드를 선도하는 프로젝트를 할 수 있는 환경을 찾아서 전문 역량을 키우는 편이 바람직할 것이다. 여기에는 대규모 데이터와 폭넓은 첨단 기술을 경험할 수 있는 빅테크 기업, 혹은 AI나 시각화 등 특정 분야의 기술 솔루션을 제공하는 기업들이 포함된다.
여기서 추가적으로 고민할 부분이 커리어에서의 깊이와 넓이의 균형인데, 특정 도메인의 전문가가 되기 위해 깊이를 쌓는 노력과 기술 및 시장 트렌드 변화에 대응하기 위해 두루두루 배우고 경험을 쌓는 노력간의 균형이다. 필자의 경우 첫 경력은 웹검색엔진(Microsoft Bing)에서의 품질 평가 기법의 연구, 두번째 경험은 소셜네트워크(Snapchat)에서의 UX 및 추천시스템 성장 및 개선을 위한 프로덕트 데이터 사이언스로, 상당히 다른 문화를 가진 두 회사에서 일을 하면서도 온라인 서비스 개선을 위한 데이터 사이언스라는 테마를 놓지 않았던 점이 지금 생각하면 좋은 결정이었던 것 같다.
어떤 업계/회사/팀에 지원할 것인가?
자신에게 맞는 기회를 찾아야 한다는 상식적인 이야기를 앞서 했으니, 이제 좀더 구체적으로 데이터 사이언티스트가 일하기 좋은 회사에 대해 생각해보자. 필자가 생각하는 가장 중요한 조건은 회사의 미래에 데이터 활용이 얼마나 중요한 전략적 위치를 점하는지다. 요즘 데이터에 관심이 없는 회사는 없겠지만, 업계 및 회사의 사정에 따라 얼마나 큰 투자가 이루어지는지, 이런 투자가 가치를 만들어낼 수 있는지는 다른 문제이기 때문이다. 이를 판별하는 손쉬운 방법은 채용 규모가 어떤지, 혹은 매니저와 팀원을 동시에 뽑는지 등을 확인하는 것이다.
데이터 활용을 중요하게 생각하는 회사라도 가치를 만들기까지는 여러 단계를 거쳐야 한다. 따라서 두번째로 확인할 부분은 내가 조인해서 가치를 만들 수 있는 포지션인지다. 업무를 시작한 후 살펴보니 쓸만한 데이터도 없고 이를 모을 방법도 없다면 데이터 전문가로서 할 수 있는 일이 없을 것이다. 또한 분석 쪽에 특화된 역량을 갖춘 사람이 데이터 파이프라인 버그를 고치는데 대부분의 시간을 써야 한다면, 혹은 엔지니어링 역량을 키우고픈 사람이 인프라를 아웃소싱하는 팀에 조인한다면 가치를 만들기가 더 어려울 것이다. 이를 확인하는 방법은 인터뷰에서 팀의 현재 니즈 및 전략적 방향에 대해 상세히 물어보는 것이다.
마지막으로 회사가 얼마나 기술적인 성장에 초점을 맞추는지도 장기적인 커리어 성장의 관점에서 중요한 문제다. 기껏 어렵게 조인한 회사에서 주어진 업무가 레거시 파이프라인을 유지보수하는 일이거나 매일 수동으로 아무도 읽지 않는 리포트를 작성하는 일이라면, 그리고 이를 새로운 기술 도입이나 자동화를 통해 개선하겠다는 노력도 묵살된다면 회사나 개인이나 밝은 미래를 장담하기 어려울 것이다. 이를 확인하기 위해서는 채용 공고에 나타난 회사의 기술 스택이 어떤지, 혹은 회사의 기술 역량이 외부적으로 공유된 자료가 있는지 보면 된다.
위에서 신기술 도입을 언급했지만 수많은 하입(Hype)이 명멸하는 데이터 업계에서 신기술에 전혀 관심을 기울이지 않는것 만큼이나 위험한 것이 신기술을 무조건 추종하는 것이다. 기술의 도입은 장기적인 비즈니스 가치를 만들기 위한 최적의 수단인지의 관점에서 고민해야 할 부분이며, 유행을 쫒기 위한 위한 기술 도입 혹은 연구를 위한 연구 프로젝트 등은 가치를 파괴하는 일이기 때문이다. 그리고 당연한 이야기지만 지속적인 비즈니스 가치를 만들어내지 못하는 회사나 조직은 장기적인 생존을 보장받지 못한다. 그런 관점에서 지원하는 조직이 회사에 어떤 기여를 하고 있는지, 스타트업이라면 비즈니스 성장 커브 및 건강성은 어떤지 따져볼 일이다.
코딩과 모델링은 얼마나/무엇을/왜 잘 해야 할까?
이제 데이터 사이언티스트의 시장 가치에 대해 논의해보자. 한국이나 미국이나 데이터 분석가와 데이터 사이언티스트를 비슷한 의미로 사용하는 것 같은데, 필자는 일반적으로 '분석가'라는 타이틀을 선호하지 않는다. '분석가'라는 단어가 이미 존재하는 데이터 파이프라인 및 인프라에서 SQL등을 사용해서 데이터를 뽑고 리포팅하데 그치는 역할로 들리기 때문이다. 물론 리포팅은 데이터 사이언스 업무의 핵심 중 하나이고, 도메인 지식 및 데이터에 대한 이해가 기반이 된 제대로 된 리포팅을 하는 것은 매우 어렵고 그만큼 많은 가치를 만들어내는 일이다.
하지만 직업이 아니라 커리어라면 시장에서의 자신의 가치를 지속적으로 키울 수 있는 기회를 제공해야 할 것이며, 필자는 단순 리포팅이 업무의 거의 100%를 차지하는 포지션은 이런 기회를 제공하기 힘들다고 생각한다. 데이터 분석과 관련된 인프라와 툴은 계속 좋아지고 있으며, 최근에는 데이터에서 인사이트를 자동으로 뽑아주는 다양한 기법도 연구 개발되고 있기 때문이다. 따라서 단순 리포팅 업무는 마치 오피스 작업과 같이 고등 교육을 받은 사람이라면 누구나 할 수 있는 업무가 되어가고 있다. (이런 변화는 AutoML 등의 기술이 활발히 연구되는 머신러닝에도 비슷하게 적용될 것이다.)
이런 상황에서 데이터 사이언티스트가 지속적인 가치를 만들어낼 수 있는 방법은 무엇일까? 필자는 분석의 스케일링과 자동화라고 생각한다. 분석의 스케일링은 개발된 분석 기법을 다른 사람들을 쓸 수 있도록 라이브러리 및 템플릿을 만들거나 인프라에 해당 기능을 추가하는 것이다. 이를 통해 데이터팀의 일원이 아니라도 필요에 따라 분석을 수행할 수 있다. 다른 방법은 반복되는 의사결정을 단순화 및 자동화할 수 있는 모델을 만드는 것이다. 예를 들어 지표 이상을 모니터링하고 알람을 주는 알고리즘은 매일 대시보드를 보는 수고를 덜어줄 것이다. 그리고 이런 분석의 스케일링 및 자동화를 위해서는 데이터 사이언티스트의 개발 및 모델링 역량이 필수적이며, 이런 인력들은 사내 모든 구성원이 분석가의 역할을 수행하는 것을 가능하게 한다.
예를 들어 AB테스트의 결과를 제대로 분석하기 위해서는 최소 수십, 수백개의 지표의 움직임을 이해하고, 개별 지표에 대해 전체 혹은 일부 사용자 그룹이 어떻게 반응하는지에 대한 분석을 수행해야 한다. 그리고 AB테스트 도입 초기에는, 혹은 중요한 테스트에 대해서는 이런 분석을 분석가가 직접 수행하는 것이 필수적이다. 하지만 AB테스트 도입이 가속화되어 수많은 실험이 수행되는 환경에서는 비슷한 유형의 실험에 대한 분석은 템플릿화 및 자동화되고, 분석 조직의 역량은 새로운 지표나 좀더 도전적인 분석 기법 개발에 집중되어야 한다. 이처럼 실무에서는 이런 분석가의 노력과 자동화가 유기적으로 결합될 때 최선의 결과가 나온다.
물론 이런 분석의 스케일링과 자동화가 개인의 노력으로 이루어지지는 않는다. 이를 위해서는 신뢰할 수 있는 인프라 및 데이터 파이프라인, 분석 코드의 라이브러리화 및 재사용을 강조하는 문화, 이 모든 것을 뒷받침하는 데이터 엔지니어와 분석가의 협업이 필요하다. 많은 데이터 팀이 엔지니어 혹은 분석가로만 구성된 것을 보는데, 이 경우 기껏 만들어진 인프라가 제대로 활용되지 않거나, 제대로 된 인프라 서포트가 없어 분석가들이 반복되는 데이터 오류 검증 및 리포팅 작업에 지치게 될 것이다. 따라서 이 글의 마지막 조언은 실력있는 엔지니어과 분석가들이 함께 일할 수 있는 환경을 찾으라는 것이다.
인터뷰는 어떻게 준비할 것인가?
마지막으로 인터뷰에 대한 이야기로 이 글을 마무리할까 한다. 우선 필자가 채용 후보자들을 만나면서 놀라는 점은 생각보다 많은 후보자들이 지원하려는 회사와 제품, 팀에 대해서 이해하려는 충분한 노력을 기울이지 않는다는 점이다. 최근에 많은 회사에서 기술 블로그 등에 팀의 기술적 상태와 첼린지에 대해 공유하는 추세인데도 말이다. 예를 들어 최근 채용 인터뷰에서 아래와 같은 질문에 대해서 충분히 생각을 해보고 인터뷰에 임했는지 생각해보자.
이 회사에서 나는 어떤 인프라와 데이터를 사용하게 될 것인가?
지원하는 팀이 당면한 분석 및 엔지니어링 문제는 무엇인가?
이 중 내 스킬셋과 관심사에 부합하는 부분은 무엇일까?
지원 회사/팀/분야에 대한 공개된 자료는 어디서 찾을 수 있을 것인가?
내 성장 목표는 지원 회사/조직의 중장기 목표와 얼라인(align)되는가?
채용 인터뷰는 지원자의 기본 소양과 함께 함께 일하는 동료로서 어떤 모습을 보일지 예측하는 과정이다. 특히 많은 회사의 데이터 사이언스 / 엔지니어링 인터뷰는 가상의 케이스에 대한 문제 해결력을 평가하는 방식으로 이를 예측하려고 한다. 따라서 위와 같은 질문에 대해 생각과 조사를 하고 인터뷰에 임하는 후보자와 그렇지 않은 후보자 사이에는 비슷한 역량을 가정했을 때 인터뷰 퍼포먼스에 큰 차이가 있지 않을까. 이렇게 준비된 후보자가 태도 면에서도 좋은 점수를 받을 확률도 높을 것이다.
또한 이력서 작성의 요령 및 경력 사항에 대한 질문을 준비하는 과정도 다시 한번 짚고 넘어가자. 보통 이력서가 길고 화려할수록 좋다고 생각하는데, 채용하는 입장에서는 지원자의 경험과 역량을 가늠할 수 있는 핵심적인 이력 몇개가 있는지가 더 중요하며, 관련성이 떨어지는 경력 사항이 많이 보일수록 이런 '핵심'을 발견하기가 어려워진다. 따라서 이력서는 자신의 경력에 대한 검색 결과 페이지를 만든다고 생각하고, 여기서 Precision을 Recall만큼이나 중요하게 여기는 것을 추천하고 싶다.
또한 이력서에 적은 모든 사항은 심층 탐구를 위한 질문이 들어왔을때 방어할 수 있어야 한다. 본인이 핵심적인 역할을 담당한 개발 및 분석 프로젝트에서 핵심적인 디자인 결정에 대한 답변이 미흡하거나, 머신러닝 프로젝트에서 사용한 모델 및 평가 기법에 대한 답변이 제대로 이루어지지 않으면 해당 경력을 제대로 된 성과로 인정받기 어렵다. 이력서를 최대한 핵심만으로 간결하게 유지하고, 자신이 면접관의 어떤 질문에도 대답할 수 있는 항목만 남겨야 하는 또다른 이유다.
맺음말
오늘은 최근 자주 만나는 주니어 데이터사이언티스트들에게 하고 싶은 이야기를 적어 보았다. 필자의 경험 가운데 일반화가 가능한 부분을 최대한 간결하게 전달하려고 했지만, 이런 이야기의 특성상 필자의 주관이 많이 섞일 수밖에 없으니, 각자 처한 상황에 맞게 해석하시면 좋겠다. 이 글에 적은 '좋은 데이터 조직'의 조건을 필자가 이끄는 조직에 최대한 구현하려고 노력하고 있지만 아직도 갈 길이 멀다는 반성도 든다. 그럼 오늘도 데이터 분석과 개발의 현장에서 땀흘리시는 여러분들의 건투를 빈다!
