저는 통계학과를 졸업했는데, 이과 쪽이 아니라 상경대 소속의 통계학과였어요. '컴퓨터자료처리'와 '데이터 분석 및 설계'라는 과목을 정말 재미있게 들었죠. 당시에는 AI와 ML에 대한 관심이 없었고, 대세를 따라서(?) 회계사 준비를 했지만, 적성에 맞지 않아 1년 만에 포기하게 되었어요.

그 후, 2017년에 친한 친구가 AI와 ML이 요즘 핫하다고 해서 관심을 가지기 시작했어요.

공부를 하면서 비슷한 관심을 가진 사람들이 많아졌고, 결국 이 모임이 'DIYA'라는 동아리로 발전하게 되었어요. 지금도 이 동아리는 운영되고 있습니다. 동아리에서 공부를 하면서 이론적인 토대가 좀 더 중요하겠다는 생각이 들어서 통계학과 대학원으로 진학했고, 졸업 후 데이터 사이언스 분야에서 일하고 있어요.

Q3. 대학원에서 어떤 연구를 하셨나요?

대학원에서는 생존 분석에 관심을 가졌어요. 특히 non-parametric statistics에 흥미가 있어서, 논문에서는 censored data에 대한 quantile regression의 objective function에서 weight의 위치에 따라서 결과가 어떻게 달라지는지를 비교하는 연구를 했어요. 그런데 생존 분석을 실제로 쓸 일이 많지 않네요ㅎㅎ

Q4. 생존 분석이 무엇인가요?

생존 분석은 특정 사건이 발생하기까지의 시간을 분석하는 방법이에요. 예를 들어, 환자 그룹이 있을 때, 각 환자가 생존할 가능성을 추정할 수 있죠. 가장 잘 알려진 방법 중 하나는 Kaplan-Meier curve라는 곡선을 그리는 건데, 이 곡선은 시간이 지남에 따라 생존율이 어떻게 변하는지를 시각적으로 보여줘요. 생존 분석은 의료 분야 외에도 기계의 고장 예지나 NLP의 인기 검색어 분석 등 다양한 분야에 활용될 수 있어요.

Q5. 흔히 딥러닝의 경우엔 많은 데이터를 입력하고 패턴을 찾게 학습을 시키잖아요. 그런데 생존 분석 같은 데이터 분석의 경우는 다양하고 많은 데이터를 많이 입력하는 게 좋은 건지, 적절한 데이터를 찾는? 필터링하는? 그런 과정들이 좀 더 중요할까요?

AI 쪽보다는 통계학적 접근이기 때문에 데이터의 품질과 적합성이 매우 중요해요. 그런데 제가 대학교와 대학원에서 사용했던 데이터들은 대체로 이미 정제가 잘 되어있는 데이터들이었어요. 실무에 와서는 그런 데이터가 없더라고요! 실무에서는 생존분석보다는 회귀분석을 많이 하긴 했지만, 데이터를 선별하고 정제하는 게 업무의 90% 였어요. 아마 생존분석을 쓰더라도 마찬가지이겠죠?

Q6. 회사에서는 어떤 업무를 담당하셨나요?

7월까지 모모리라는 iOS 앱에서 사용자 데이터 분석과 고민 상담 챗봇 개발을 담당했어요.

모모리 앱을 개발하는 팀이 총 3명이었기 때문에 챗봇 관련해서는 거의 모든 업무를 맡았는데, 유사한 서비스나 적용할 만한 논문을 리서치하고, 챗봇의 프로세스를 파이썬으로 직접 개발했어요.

Q7. 제조업에서도 일하셨다고 들었는데, 일하시면서 느낀 점이 있을까요?

제조업에서 일하면서 느낀 점은, 전공과는 상관없이 현장에서의 자세가 중요하다는 거였어요.

저는 데이터 쪽으로는 전문성이 있지만 제조업에 대한 전문성은 부족했기 때문에, 전문가임을 어필하기보단 “이 부분은 제가 잘 모르니 가르쳐주십시오!”라는 자세로 일을 하면서 현업 엔지니어 분들과의 소통이 수월했던 것 같아요.

Q8. 가장 기억에 남는 프로젝트는 무엇인가요?

아무래도 가장 마지막으로 했던 챗봇 프로젝트예요. 왜냐하면 제가 사실 이걸 해보고 싶어서 이전 회사를 퇴사한 거였거든요. 정말 사람과 대화하는 듯한 느낌을 주는 챗봇을 만들고 싶었어요. RAG으로 장기 기억 구현하는 과정이 되게 재미있었어요. 자연스러운 말하기나, 공감이란 건 무엇인가-에 대해서도 되게 고민을 많이 했었어요. 어떻게 보면 AI/ML보단 인지과학과 연관된 느낌이랄까요. 그래서 되게 재밌었어요.

Q9. 이런 모델은 정량적인 평가가 어려울 것 같은데, 어떻게 평가를 하셨는지 궁금합니다.

아무래도 어려웠어요. 내부적으로 A/B 테스팅하는 툴을 만들고, 저희가 다 직접 라벨링을 하고... 좀 힘들기는 했는데, 힘들었기 때문에 재밌었습니다.

Q10. 데이터사이언스 직무에서 중요한 역량은 무엇인가요?

새로운 것에 직면했을 때 패닉하지 않고 차근차근 알아가는 역량이 중요하다고 생각해요.

근데 이건 그냥 마음가짐 문제인 것 같기도 해요. 경력이 좀 있더라도 이걸 못하는 사람도 있고, 아예 처음인데 용기 있게 해 보시는 분들도 계시거든요. 그래서 그냥 “괜찮다~”는 마음가짐으로 임하시면 좋을 것 같아요.

Q11. 전공이나 엔지니어링적인 측면에서 중요하게 여기는 것도 있을까요?

글쎄요. 특별히 중요한 한 가지 요소가 모든 상황에 적용되지는 않아요. 사실 분야에 따라 중요한 부분이 많이 달라요. 직무를 데이터사이언티스트로 뭉뚱그려 얘기하는데 회사마다 하는 역할이 다른 경우가 굉장히 많거든요.

Q12. 데이터 사이언티스트를 꿈꾸는 취업 준비생들에게 조언해 주실 수 있나요?

취업 준비생 분들에게는 파이팅을 보냅니다! 취업 준비를 너무 의식하지 말고, 자신이 하고 싶은 것을 실제로 해보는 것이 중요해요. 보통 취준을 한다 그러면은 이제 약간 빠른 길을 고민하게 되잖아요. 그렇게 되면 거의 다른 사람들이랑 크게 다르지 않은 프로젝트를 하게 된다거나 그러면은 이제 티가 나니까, 본인이 하고 싶은 걸 찾는 과정이 필요한 것 같아요.

인터뷰를 완료하고 나니, 제가 조금 더 준비를 많이 해서 더 많은 걸 여쭤봤어야 하는 아쉬움이 드네요. 그래도 2편이 남아있으니 기대해 주세요!

keyword

Brunch Book

AI를 요리 중