'온라인서비스를 위한 데이터사이언스' 시리즈를 시작하며

6년만에 집필을 시작한 소회

필자의 첫 책인 헬로데이터과학 출간후 6년이 지났다. 그동안 데이터 세상의 화두는 빅데이터에서 인공지능으로 넘어갔고, 대부분의 서비스는 모바일 환경에서 클라우드와 인공지능을 결합한 형태로 개발되고 있거나, 이런 방향으로의 진화를 고민하고 있다. 모바일, 클라우드, 인공지능의 결합은 이론적으로 사용자의 취향과 컨텍스트에 맞는 지능화 및 개인화된 서비스를 컴퓨팅파워의 제약 없이 제공할 수 있다는 것을 의미한다.

현대적인 온라인 서비스란?

모바일, 인공지능, 클라우드 — 언뜻 별 관련이 없어 보이는 이 세가지 키워드의 공통 분모는 데이터의 가능성을 더 확장시킨다는 점이다. 모바일 환경은 사용자에 대한 더 많은 데이터를 수집할 수 있도록 해주고, 인공지능 기술은 이렇게 수집된 데이터를 바탕으로 지능화된 서비스를 제공할 수 있도록 해주고, 마지막으로 클라우드는 이런 데이터 스토리지와 서비스에 필요한 인프라를 제공하니 말이다. (아래 그림은 필자의 최근 발표에서 발췌)

현대적인 온라인 서비스의 3요소

따라서 이런 패러다임 시프트는 데이터를 제대로 활용하는 조직과 그렇지 못한 조직간의 격차가 점점 벌어진다는 것을 의미하기도 한다. 모바일 앱 사용자에게서 서비스 개선에 필요한 데이터를 모으는 일, 이를 바탕으로 사용자가 만족할만한 인공지능 서비스를 제공하는 일, 서비스의 성장에 발맞추어 적절한 의사결정을 내리고 이를 뒷받침하는 인프라를 제공하는 일은 데이터 관련 여러 분야의 전문성을 필요로 하기 때문이다.

실제로 대부분의 빅테크 회사들은 자신들의 도메인에서 데이터 활용을 극대화하기 위해 꾸준한 연구 개발을 이어가고 있다. 모바일 환경에서 사용자의 영향을 최소화하는 로깅, 조직 전체의 필요에 따라 유연하게 성장하고 변화할 수 있는 데이터 파이프라인, 새로운 피쳐 개발 및 서비스 반영에 필요한 다양한 의사결정을 지원하는 지표와 실험 기법, 그리고 데이터 및 이에 기반한 인사이트의 개발 및 활용을 극대화하는 조직 문화들이 여기에 포함된다.

데이터사이언스의 역할

이렇게 변화된, 그리고 끊임없이 진화하는 환경에 과거의 경험이 아닌 새롭게 수집된 데이터를 바탕으로 적절히 대응하는 것을 가능하게 하는 것이 데이터 사이언스의 역할이다. 온라인 서비스를 위한 데이터 사이언스의 역할에 대해 이야기할 기회가 있을때, 필자는 서비스의 개발 및 지속적인 개선을 위한 방향을 설정하고, 이를 바탕으로 조직 전체가 일관되게 움직이는 것을 가능케하는 신경망을 만드는 일이라고 이야기한다.

동물의 신경계가 주위 환경으로부터 개체의 생존에 필요한 각종 정보를 수집하여 의사결정을 내리고 이에 근거하여 행동에 옮기듯이, 효과적인 데이터사이언스 조직/플랫폼/프로세스는 서비스 내 외부의 각종 데이터를 수집하고, 이를 바탕으로 각종 리포팅과 분석을 수행하고, 이를 바탕으로 서비스 개선에 직결되는 각종 의사결정을 내리고 관련 팀이 움직이는 것을 가능하게 하기 때문이다.

기업의 데이터사이언스는 조직 전체가 하나의 유기체처럼 움직이는 것을 가능케한다

단일 개체의 신경망과 달리 조직 내의 데이터사이언스가 갖는 어려움은 정보와 지식의 생산 및 전달이 개별 구성원 및 조직간에 원활히 일어나기 힘들다는 점이다. 데이터 팀의 분석 결과가 현업 부서에서 제대로 활용되지 못하는 문제, 개별 팀에서 서로 다른 지표와 의사결정 기준을 가지고 움직이는 문제 등이 다 여기 해당한다. 따라서 조직에서의 데이터 사이언스는 이런 소통 및 공유의 문제를 해결하고, 조직 전체가 데이터에 기반한 지식의 생산 및 축적, 이에 기반한 의사결정 프로세스를 만드는데 초점을 맞추어야 한다.

시중에는 이미 많은 데이터사이언스 관련 자료가 있지만 대부분은 입문서이거나 학술 논문과 같은 기술 중심의 전문적인 자료이다. 또한 데이터사이언스 교과서에서 나오는 이야기를 실제 업무 환경에 적용하는 과정에서 겪는 다양한 어려움에 대한 자료는 전무하다시피하다. 따라서 온라인 서비스를 실제로 개발해서 운영한 경험을 바탕으로 현업에서 바로 적용할 수 있는 가이드를 만드는 것이 가치가 있겠다는 생각을 했다.

집필을 결심한 이유

그동안 필자는 마이크로소프트 및 스냅에서 검색엔진, 추천시스템 관련된 다양한 데이터 사이언스 문제를 접했고, 현재는 네이버의 검색 품질 관리 및 개선에 바탕이 되는 데이터 사이언스 및 엔지니어링 문제를 해결하는 Data&Analytics팀을 이끌고 있다. 처음에는 검색 연구자로 시작하여, 현업 데이터 사이언티스트를 거쳐 현재는 데이터 및 분석 조직을 맡고 있으니 나름 여러 관점에서 데이터 관련 업무를 경험한 샘이다.

이 시리즈의 많은 부분은 필자가 이끌고 있는 네이버 서치의 Data&Analytics(DnA)팀의 업무에 기반하고 있으며, DnA팀은 이미 다양한 데이터와 지표를 바탕으로 네이버 서치가 다음 단계로의 진화를 위한 뱡향을 수립하고 앞으로 나아가는데 중추적인 역할을 수행하고 있다. 물론 앞으로도 계속 새로운 기술의 등장에 발맟추어 꾸준히 업데이트해야겠지만, 그동안 팀으로서 함께 배우고 경험한 것을 정리하는 것도 의미있는 경험이라는 생각을 했다.

물론 필자가 다년간 데이터지능 팟캐스트를 진행하며 느꼈듯이, 데이터 세상은 넓고 고수는 많다. 필자가 알고 경험한 영역보다 훨씬 넓은 세상이 있으며, 이런 부분을 훌륭한 Data&Analytics 팀원분들이나 외부 게스트 필자를 섭외하여 채울 생각이다. 앞으로 본 시리즈가 온라인서비스를 위한 데이터사이언스라는 영역에 종사하는 여러분들의 집단지성이 모이는 장이 되기를 희망한다.

p.s. 앞으로 이 시리즈는 필자의 블로그, 미디엄, 브런치 및 메일링 리스트를 통해서 보실 수 있습니다. 글에 대한 피드백이나, 게스트 필진 참여, 혹은 DnA팀에서 네이버 검색과 추천서비스의 미래를 만들어가실 분은 jin.y.kim at navercorp.com으로 연락 바랍니다!