레고에서 배우는 데이터 사이언스 플랫폼의 미래
DnA Team Workshop (Playshop) with LEGO!
예나 지금이나 레고는 필자의 최애 장난감이다. (지나친 조기교육의 부작용인지 필자의 딸은 레고를 아주 좋아하지는 않는다) 오밀조밀한 모양의 총천연색 블록들을 보고 만지고 하는 것 만으로 힐링이 되는데, 이 재료들을 정해진 매뉴얼에 따라 하나 하나 결합하다 보면 온갖 형상이 만들어지는 것을 보면 탄성을 지르지 않을 수 없다. 물론 가장 흥미로운 부분은 매뉴얼을 넘어 주어진 블록으로 새로운 무언가를 만드는 과정이지만 말이다.
하지만 많은 사람들에게 레고, 그리고 레고를 만든 기업인 레고 그룹은 장난감 이상의 교훈을 준다. 어떻게 나무로 오리 인형을 만드는 제품에서 출발한 덴마크 시골의 어느 한 회사는 거의 100년간 지속된 거대 기업이 되었을까? 어떻게 레고는 모바일 단말과 인터넷이 보편화된 새로운 시대에 더욱 번성하고 있을까? 어떻게 전세계의 수많은 사람들은 플라스틱 부속을 결합해 각종 모형을 만드는 일에 이렇게까지 열광하게 되었을까?
필자는 ‘플랫폼’이라는 키워드에서 답을 찾고자 한다. 최근 들어 주로 테크 기업에 플랫폼이라는 말이 사용되고 있는데, 레고는 장난감의 플랫폼화를 통해 성공을 거둔 대표적인 사례다. 제한된 형태와 가능성을 갖는 여타 장난감과는 달리 사각형, 원형 등의 기본적인 형태를 갖는 블록을 조합해서 원하는 모양을 만들 수 있다는 개방성이 레고의 차별점이기 때문이다. 그리고 블록 조립이라는 플랫폼의 끊임없는 확장이 오늘날의 레고 제국을 만들었다고 생각한다.
필자가 이끄는 네이버 서치의 Data&Analytics(DnA) 팀은 처음부터 데이터 사이언스와 엔지니어링의 플랫폼화를 지향해 왔다. 설립 1년이 갓 넘어 이제 플랫폼의 기본적인 빌딩 블록을 완성하고 있지만, 아직 스무명이 안되는 인원이 거의 1000명에 달하는 네이버 서치와 광고 조직의 데이터 및 분석 니즈를 대응하기 위해서는 DnA의 모든 영역에 대한 플랫폼화가 필수적이다. 오늘은 ‘레고’에서 영감을 얻어 좋은 데이터와 분석 플랫폼이 가져야만 하는 요건을 정의해보려고 한다.
품질이라는 기본에 충실한 블록들
레고의 핵심 경쟁력은 예나 지금이나 고품질의 블록이다. 적당한 힘으로 결합되고, 일단 결합되면 잘 떨어지지 않지만, 필요에 따라 손쉽게 떼어낼 수 있는 온갖 형태와 색상의 블록을 만드는 일은 절대 쉬운 일이 아니다. 레고의 사훈이 ‘Only the best is good enough (for our children)’이며, 이 말이 결코 겉치레가 아니라는 것은 전세계의 수많은 레고 유사품을 구해서 만져보면 바로 알 수 있다. 블록을 결합하고 떼어낼 때 느껴지는 감촉의 사소한 차이가 즐거운 놀이와 괴로운 노동의 차이를 판가름하기 때문이다.
또한 여러 크기와 형태를 가지는 레고 블록은 최대한 서로 다양한 방식으로 결합될 수 있도록 디자인되어 있다. 기본적으로 Stud라고 불리는 볼록한 돌기를 기준으로 블록과 블록이 상하로 결합되도록 디자인되어 있지만 최근 들어 Stud Not On Top (SNOT)이라는 다양한 측면 결합 기술의 발전으로 레고로 동물이나 완전한 구와 같은 비정형적인 형태를 만드는 것도 가능해졌다. 이런 다양한 결합 형태가 필자와 같은 레고 빌더들의 창작욕을 자극하는 것은 물론이다.
다양한 SNOT 빌딩 테크닉 (출처)
이상적인 데이터 파이프라인과 분석 플랫폼 역시 레고 블록과 같은 특성을 갖추어야 한다. 테이블 형태로 제공되는 데이터들은 다양한 분석 태스크에 활용될 수 있도록 최대한 일반적인 용도를 염두에 두고 정의되어야 할 것이며, 개별 속성에 대한 철저한 검증과 문서화를 바탕으로 사용자가 안심하고 사용할 수 있어야 할 것있다. 블록은 눈에 보이지만 데이터의 경우 해당 데이터가 생성된 방법과 그 한계까지 알고 있어야 제대로 활용할 수 있기 때문이다.
분석 방법론 역시 이처럼 재사용이 염두에 두고 개발 / 발전 / 공유되어야 한다. 최근 DnA 팀에서 많이 이루어지는 AB 테스트 분석, KPI 분석, 피쳐 적용 전/후 비교 분석 등은 검색 질의 및 사용자 단위의 만족도 및 기타 품질을 다양한 기준으로 비교하고 분석하는 과정이며, 이런 의미에서 동일한 데이터 파이프라인 및 라이브러리 등을 사용하여 이루어질 수 있고, 실제로 DnA의 방법론은 대부분 재사용이 가능한 노트북 및 SQL 템플릿으로 제공되고 있다.
이런 데이터 및 분석 방법론은 데이터 및 분석 지식이 개인이나 개별 조직에 묻히지 않고 팀 전체, 나아가서는 조직 전체에 공유되는 것을 가능하게 한다. DnA 팀원은 아직 20명이 안 되는데, DnA의 주요 파트너인 네이버 검색과 광고 조직은 총 인원 1000명이 넘으니 이런 플랫폼화는 선택이 아니라 필수다. 올해까지는 기본적인 플랫폼 및 방법론 개발에 주력하고 있지만, 내년 부터는 데이터 사이언스 및 엔지니어링 기술 고도화와 함께 확산에 주력할 예정이다.
(언젠가) 출간 예정인 필자의 브런치북에 분석 플랫폼화 및 자동화에 대한 좀더 세부적인 내용이 담겨 있다.
다양한 조합 방법에 대한 매뉴얼화
레고에 블럭 만큼이나 핵심적인 요소가 있다면 이는 제공되는 설명서다. 예전에는 종이로 된 설명서가 전부였지만, 디지털 시대에 발맞추어 레고의 설명서들은 모바일 앱으로 제공되고 있으며, 해당 앱에서 구매한 제품 뿐 아니라 레고가 출시한 모든 세트에 대한 사용법을 다 볼 수 있다. 당연히 이들 사용법은 레고 빌딩 테크닉의 정수를 담고 있으며, 따라서 필자와 같은 애호가들에게는 보물과 같은 앱이다.
최근 완전 디지털화된 레고 인스트럭션 앱
데이터 및 분석 플랫폼의 경우에도 실제 데이터나 코드 만큼이나 중요한 것이 사용에 대한 가이드일 것이다. 데이터에 대한 카탈로그 및 SQL 형태의 사용 예제, 플랫폼에 대한 사용 가이드 및 튜토리얼, 분석 노트북에 대한 실행 예제 등이 모두 여기 포함된다. 가이드의 전달에 있어서도 위키 문서, 튜토리얼 슬라이드 및 영상, Q&A 세션 등 다양한 형태를 지원해야 학습 효과를 극대화할 수 있을 것이다.
플랫폼의 가치를 확장시키는 생태계
레고의 시작이 블록과 설명서로 구성된 개별 제품이라면, 테마 파크, 유튜브, 이벤트, TV쇼 등으로 끊임없이 확장되는 레고 생태계의 끝에는 거의 한계가 없는 것처럼 보인다. 이들 생태계의 개별 요소는 고객이 레고를 일회성 장난감이 아닌 지속적인 경험 및 삶의 일부로 받아들이도록 끊임없이 유도한다. 이처럼 핵심 제품의 가치가 다양한 컨텍스트에서 끊임없이 확대 재생산될 수 있는 가능성이 플랫폼이 가진 궁극적인 힘이다.
끊임없이 확장되는 레고의 생태계
데이터 및 분석 플랫폼의 경우에도 핵심 제품인 데이터 및 분석 결과가 최대한의 임팩트를 얻기 위해서는 다양한 환경 및 컨텍스트에서 그 가능성을 선보이고 활용할 수 있어야 할 것이다. 예를 들어 원본 데이터의 기본적인 분포 및 변화 추세가 그 특성에 맞는 대시보드로 제공되고, 이를 기반으로 특정 이상 상황에 대해 알람을 발생하는 것을 생각해볼 수 있다. 파트너에게 제공되는 분석 노트북의 경우에도 이를 손쉽게 실행할 수 있는 환경과 더불어 일회 혹은 정기적으로 실행해서 결과를 리포팅받을 수 있는 UI 환경이 제공된다면 그 활용도가 극대화될 것이다.
맺음말
본 글에서는 레고라는 플랫폼이 갖는 가치를 데이터 사이언스 및 엔지니어링에 적용하는 방법을 다루었다. 당연한 이야기지만 레고의 가치는 이를 만져보아야 할 수 있을 것이다. 이를 이유에서 DnA팀은 최근 팀을 이루어 레고를 만들어보는 워크샵 (aka Playshop) 행사를 가졌다. 2인 1조로 레고 선인장을 만들고 또 이를 바탕으로 Creative Build를 하여 우승 팀을 뽑는 과정에서 팀원들이 앞으로 네이버 검색의 미래를 책임질 데이터 및 분석 플랫폼을 만드는 데 많은 영감을 얻을 수 있었다고 생각한다.
짝을 지어 열심히 레고를 만드는 DnA 팀원들
일의 궁극적인 경지는 놀이 그리고 놀이의 궁극적인 경지는 일이 된다는 측면에서, 일과 놀이는 둘이면서 하나라고 생각한다. 다행히도 필자에게는 살면서 데이터를 만지고 분석하는 일이 놀이처럼 느껴졌던 시간이 그렇지 않았던 시간보다 더 길지 않았을까 한다. 앞으로 DnA 팀원들과 파트너들이 데이터 플랫폼을 만들고 분석을 수행하면서 레고를 만드는 것 같은 희열을 더 많이 느끼시기를 고대해 본다.
p.s. 2023년 한국/미국 오피스에서 (리모트 가능) Naver Search DnA팀과 함께할 데이터 사이언티스트 및 엔지니어를 모십니다! (채용 FAQ)
