by
Feb 21. 2023
인공지능 스타트업에서 일하면서 느낀 점들
인터스텔라, 1년이 10년과 같은 속도로 흘러가는 곳
정신없이 시간이 흐르고 인공지능 스타트업에서 일하게 된 지도 어느덧 1년이 가까워 오고 있다. 1년이 채 되지 않는 짧은 시간 동안 나는 한 개의 딥러닝 NLP(자연어처리) 모델 개발 프로젝트를 무사히 마쳤고, 지금은 MLOps(Machine Learning Operations)라는 생소한 개념과 씨름하고 있으며 무섭게 쏟아져 나오는 각종 툴(Tool)과 개념들을 따라가느라 정신이 혼미하다. 나와 비슷한 길을 가고자 하는, 혹은 단순히 이쪽 업계가 궁금한 누군가를 위해 그동안 인공지능 스타트업에서 일하면서 느낀 점을 공유하고자 한다.
1. 인터스텔라, 1년이 10년과 같은 속도로 흘러가는 곳
영화 인터스텔라(Interstellar)에 등장하는 밀러(Miller) 행성에서의 1분은 지구에서의 7년과 동일하게 흘러간다. 마찬가지로 IT 업계, 특히 인공지능 업계에서 보낸 1년은 체감상 바깥세상에서의 10년과 맞먹는 시간처럼 느껴졌다. 각종 분야에서 1년에도 수십 편이 넘는 새로운 논문들이 쏟아져 나오고, 지금 이 순간에도 각종 툴(Tool)과 라이브러리(Libraries)들이 소리 없는 전쟁을 치르고 있기 때문이다.
특히 최근 등장한 ChatGPT는 기존의 NLP(자연어처리)의 패러다임을 바꾸어 버렸다. 다소 부자연스러운 대답을 늘어놓고 앞뒤 문맥을 이해하지 못하는 기존 알고리즘으로 만들어진 챗봇(Chatbot)이 설자리는 이제 없어졌다. 새로운 분야인 만큼 앞으로도 많은 것들이 새롭게 등장할 것이고, 그때마다 오래된 것들은 너무 쉽게 사라질 것이다.
2. 인력 순환이 빠르다
변화의 속도만큼 인력 순환도 빠른 편이다. 미국에서는 최근 들어 테크 기업들의 대규모 레이오프(Layoff)가 이슈가 되고 있지만, 이 업계에서는 사실 그렇게 놀라울 일도 아니다. 변화가 빠른 만큼 해고당하기도, 그만두기도 쉽다는 것은 어찌 보면 당연하다. 따라서 항상 위기감을 가지고 새로운 것을 배우고 적용하지 않으면 도태될 수 있다.
3. 전문가가 되는 데는 생각보다 많은 시간이 필요하지 않다.
새로운 분야인 만큼 한 가지 분야의 전문가로 인정받기까지 생각보다 오랜 시간이 걸리지 않는다. 프로젝트에서 관련된 업무를 주도적으로 완수해 보았거나, 논문의 일부를 게재한 경험이 있다면 자신을 해당 분야의 전문가로 포지셔닝하고 커리어를 주도적으로 쌓아 나가기가 용이하다.
4. 데이터는 생각보다(훨씬) 중요하다
미국의 컴퓨터 과학자 Andrew Ng은 2021년 그의 강의에서 모델 중심 AI(Model-Centric AI)에서 데이터 중심 AI(Data-Centric AI)로의 이동의 필요성을 강조했다. 많은 개발자들이 데이터의 중요성을 간과하고 있다는 것이다. 그의 말대로 AI = Model + Data라는 공식에서 인공지능 개발자들은 복잡한 Model에만 집중하지만, 의외로 많은 경우 성능 향상의 실마리는 Data에 있는 경우가 많다.
실제로 프로젝트를 진행하면서 정답은 복잡한 모델이 아니라 의외로 데이터에 있는 경우가 많았다. 자연어처리(NLP) 프로젝트를 예로 들면 '어', '음', '네' 등 의미 없이 반복되는 단어들을 제거(불용어 처리) 하는 것만으로도 모델을 개선하는 것보다 더욱 큰 성능 향상을 기대할 수 있다. 들이는 노력대비 효과가 모델 개선에 비해 훨씬 큰 것이다. 이처럼 데이터를 꼼꼼히 살피다 보면 많은 경우 성능 좋은 모델을 만들기 위한 실마리를 찾을 수 있다.
5. 다룰 줄 아는 무기, 즉 툴(Tool)이 많아야 한다
MMO RPG 게임을 하다 보면 좋은 아이템을 가지고 있는 사람들과 그렇지 않은 사람들의 차이는 어마무시하다. 그래서 사람들은 게임을 조금이라도 더 재미있게 즐기기 위해 현질을 하고 밤을 새운다. 데이터 관련 직군에서 다룰 줄 아는 툴(Tool)이 많다는 것은 MMORPG에서 좋은 아이템을 가지고 있는 것과 비슷하다.
출처 : www.clickittech.com데이터 분석가, 데이터 사이언티스트, 데이터 엔지니어에게 다룰 줄 아는 툴이 많다는 것은 생각보다 큰 무기가 된다. 데이터 사이언티스트라면 Tensor flow, Pytorch 등 Python 라이브러리를 자유자재로 다루고 활용할 줄 알아야 할 것이고, 데이터 분석가에게는 통계학 지식과 Tableu, Qlik, Power BI 등 Dashboard를 다루어본 경험이 중요할 것이다. 데이터 엔지니어라면 클라우드 3사(AWS, MS Azure, GCL)의 솔루션을 다뤄본 경험과 Kubernetes, docker 등 컨테이너 관련 개념들과 Snowflake 등 다양한 툴을 사용해서 데이터를 추출해 본 경험이 가장 큰 무기가 될 것이다.
물론 자신의 직군을 어떻게 정의하는지는 자신의 몫이다. 이 부분은 게임에서 테크트리를 타듯 자신의 강점과 성향을 고려해서 정하면 된다. 그러나 분석가, 사이언티스트, 엔지니어를 넘나들며 모든 툴(Tool)을 다룰 줄 아는 사람은 게임 속의 '사기캐'처럼 일당 백의 역할을 하게 될 수 있을 것이다.
6. 너드(Nerd)들과 일하는 것은 생각보다 재미있고 유익하다.
공격수인 손흥민만 11명이 있는 팀과 수비수인 김민재만 11명이 있는 팀이 경기를 하면 어느 쪽이 이길까? 두 팀 모두 안정적인 퍼포먼스를 기대하기는 힘들 것 같지만, 전직 축구선수 이천수는 김민재 11명 팀의 압승을 예상한다.
출처 : 에펨코리아