데이터 없이 빅데이터?
API 비즈니스부터 시작하자
빅데이터 시대
지금은 빅데이터 시대라고 한다. 여러 업계에서는 쏟아지는 데이터에서 새로운 패턴을 찾는 건 일반적인 일이 되었다. 약국, 마트, 패션 회사 등등 데이터 과학자를 고용하지 않는 회사가 없다. 심지어 나의 사랑 디즈니에서도 디즈니 월드와 리조트 안에 모든 이용자의 움직임과 패턴을 다 기록하여 분석하는 빅데이터 리서치에 1조를 투자하여 방문자를 20%, 수익을 15% 증가시켰다. (디즈니의 마법과 같은 고객 서비스와 빅데이터).
빅데이터를 이용한 핀테크들 또한 눈여겨 볼만 하다. Zest Finance라는 회사는 개인의 생활 패턴이나 웹서핑 성향, 쇼핑 성향까지 기계학습으로 분석해서 신용도를 측정한다. 사치를 좋아해서 신용불량자가 된 사람과 병원비 때문에 갚지 못한 사람의 신용도는 다르다는 관점이다. Mint는 개인의 소비 패턴 체계적으로 분석해서 앞으로의 가계 계획을 세워준다.
한국에서도 이런 데이터 과학에 대한 관심이 뜨겁다. 기업들은 앞다투어 데이터 전문가를 고용하고 다양한 컨퍼런스와 글이 쏟아지고 있다. 빅데이터 리서치와 관련한 스타트업도 하루가 다르게 등장하고 있다. 과연 이러한 붐에 대한 실무자의 생각은 어떨까? 2주간 휴가기간 동안 국내에서 데이터 과학자로 일하고 계신 한 형님을 만났다. 그분은 한 마디로 정리하셨다.
데이터가 없다
쏟아지는 데이터 시대에 데이터가 없다니? 나는 궁금증에 여러 가지 질문을 하였다.
API 이야기
데이터가 왜 없는지 살펴보려면 한국의 개발 환경과 API 대한 이야기로 거슬러 올라간다. 개발자와 API(Application Programming Interface)는 떼려야 뗄 수 없는 관계이다. API란 만들어 놓은 프로그램이나 운영체제의 기능을 다른 프로그램에서도 사용할 수 있도록 패키지화시켜놓은 것을 말한다. 예를 들어 블로그 API를 쓰면 블로그에 직접 들어가지 않아도 글을 쓸 수 있고 유튜브 API를 쓰면 내가 원하는 곳에 동영상을 표시되게 할 수 있다. 온라인 쇼핑몰에서 우체국 API를 써서 배송 추적이 되게 하는 것도 좋은 예이다.
일반적으로 API를 이용하면 얻는 장점현대 소프트웨어 공학에서는 확장성을 설계하는 것은 필수이기 때문에 해외 기업에서는 API 개발을 당연시하는 경우가 많다. API를 사용하면 수많은 장점이 있다. 내부 개발 단계에서도 필요한 기능을 쉽게 가져다 쓰며 재사용성을 높여서 비용을 획기적으로 감소시킨다. 뿐만 아니라 개발의 신뢰도도 높여주고 속도도 빠르게 해준다. 그렇기 때문에 기획 단계부터 맹목적인 기능 구현보다는 큰 그림을 보고 API에 대한 적절한 설계가 필요하다.
사실 이미 IT 업계는 여기에서 한 걸음 더 나아가 API를 대중에게 공개하는 Open API를 도입하였다. 기존의 API는 내부적인 용도나 판매 목적으로 폐쇄형으로 개발되었다. 그러나 최근에는 이러한 API들을 개방하여 사용자가 직접 새로운 아이디어를 개발하고 사용하는 방식으로 변화하였다. 마치 방송국에서만 영상을 만들다가 대중들이 직접 영상을 찍어서 컨텐츠를 제공하는 UCC 시대로 넘어간 것과 비슷하다. Open API를 이용해서 다양한 애플리케이션과 파생 솔루션들이 나오고 서로 다른 배경을 가진 개발자들이 협업을 하기 시작했다. 이를 통해서 API를 이용하는 쪽과 제공하는 쪽 모두 다양한 데이터를 얻고 새로운 비즈니스 모델을 찾을 수 있게 된 것이다.
급속도로 성장하는 Open API 시장Open API를 통해서 기업들은 기존의 하나하나 기능에서 돈을 버는 방식이 아니라 API 자체를 플랫폼화 시키고 이를 통해서 돈을 버는 방식으로 변화하였다. 페이스북, 구글 등등 모두 이러한 방식으로 진화한 예이다. 구글이 공개한 구글 지도 API를 이용해서 수많은 웹사이트와 애플리케이션들이 여러 가지 서비스를 제공하고 있다. 우버는 택시 서비스에, Yelp는 맛집 찾기에, Padmapper는 부동산 정보에 이용하기도 한다. 구글은 개별 서비스에 일일히 신경쓰지 않고 지도 API에 집중하기만 하면 된다. 그러면 개발자들이 다양한 시도를 하며 재미를 느끼고 새로운 비즈니스가 창출되기도 하는 것이다.
스타트업 투자의 귀재 Y Combinator의 공동 창업자 폴 그레이엄은 'API는 스스로 영업한다'라고 하였다. 개발자들은 무언가 재밌는 걸 만들고 싶어 하기 때문에 좋은 API를 만들면 알아서 많은 개발자들이 사용하고 이것저것 만들며 성장한다는 것이다. 이는 기존의 대기업들이 돈이 될만한 비즈니스를 기획하고 개발자에게 이러이러한 서비스를 만들어 달라고 요청하는 것과 반대되는 방식이다.
Facebook의 Open Graph이러한 Open API의 최대 강점은 데이터에 있다. API를 통해 제공되는 데이터를 이용해서 여러 가지 새로운 시도를 할 수 있다. Facebook이 공개한 Open Graph API에는 Facebook 이용자의 다양한 라이프 스타일 패턴이 담겨 있다. Spotify라는 음악 서비스는 이 API를 이용해서 사용자의 음악적 취향을 분석하고 그것을 바탕으로 음악을 추천해주거나 맞춤형 라디오 방송을 만들어준다. Gap이나 Nordstrom 같은 패션 회사에서는 Open Graph를 이용해 여러 가지 쇼핑 아이템을 추천해 준다. 이러한 Open API들이 빅데이터의 초석이 되는 것이다.
한국의 API 환경
그러나 안타깝게도 국내의 API에 대한 인식과 API 비즈니스 시장은 참담한 수준이다. 국내 기업 중에 API 개발의 중요성을 인지하고 있느냐에는 70%가 그렇다고 응답하였지만 API 개발을 시도라도 한 경우는 18% 밖에 안된다고 한다. 국내에서 API 환경이 어려운 이유는 무엇일까?
국내에선 전통적으로 대기업 위주의 사업 환경을 가졌고 이들에게 IT는 목표를 위한 도구에 가까웠다. 때문에 적은 비용으로 원하는 기능을 구현하는 것이 가장 중요한 목표가 되었다. 이러한 분위기로 인해 IT에 대한 투자를 직접 하기보다는 아웃소싱을 하는 쪽으로 발달하였다. 하청 업체들은 수익을 위해 개발자들에게 체계적 개발보다 빠른 속도로 필요한 기능만 개발할 것을 요구하였다. 당연히 API화와 문서화 상태가 열악할 수밖에 없고 소프트웨어 공학적 설계는 뒷전일 수밖에 없었다. 하루는 공중파 방송국에서 일을 하는 개발자 분과 이야기를 나누었는데, 공중파 방송국 IT 솔루션과 웹 전체를 혼자 담당한다고 하니 얼마나 열악한지 알 수 있다. 내부 API도 개발도 힘든데 Open API가 가능할 리가 없다.
금융사 API와 연계하여 성공적인 행보를 보이는 자산관리앱 Mint개방과 공유에 대한 보수적인 인식 또한 한몫한다. 기업의 데이터와 기능을 힘들게 개발하여서 개방한다는 자체가 한국의 기업 입장에선 굉장히 어려운 이야기이다. "핀테크 '빈수레' 안돼" 업계, 금융사 API 공개 촉구 기사를 보면, 핀테크 업계에선 '한국에서는 Mint와 같은 서비스는 절대 불가능하다'라고 단언한다고 한다. Mint는 각종 은행, 증권사, 연금 등을 통합해서 관리할 수 있도록 도와주는데 국내는 금융 API가 애초에 제공되어있지도 않고 있더라도 제한적이라는 것이다. 은행 API가 없기 때문에 외국과 다르게 한국에서는 수많은 결제 대행사와 플러그인을 이용해서 결제해야 하는 불편함이 있는 것이다. 관계자들은 보수적인 기업인 은행들에게 추가적인 비용을 들이면서 자사의 데이터와 기능을 공개하는 것을 설득하는 것은 굉장히 어렵다고 한다. 어차피 기존 사업이 안정적이고, 공개를 하면서 사업 영역이 침범당할 수 있다는 두려움 때문이다. 그러나 전문가들은 API를 오픈하면 오히려 기존의 은행 영역이 더욱 확장되고 발전한다고 이야기 한다.
물론 국내에서 API를 개발한 사례가 없는 것은 아니다. 많은 기업들이 API를 시도하였고 배포하였다. 그러나 실패로 돌아간 경우가 많았다. API를 하나의 제품처럼 생각하지 않고 기존 서비스의 부가기능 정도로만 생각하였기 때문이다. API는 한번 개발하고서 끝이 아니라 제품처럼 끊임없이 업데이트하고 신뢰성을 보장해주어야만 개발자들이 믿고 사용할 수 있다. 단순히 API 비즈니스가 중요하기 때문에 일회성 프로젝트로 개발을 해놓으면 그 API는 끝내 기존 제품과 연결성이 떨어지고 도태되며 유저(개발자)들의 외면을 받게 된다. 즉 API 개발을 위해서 많은 투자를 하고 전담하는 개발팀이 존재해야만 그 빛을 발하게 되는 것이다.
Open API는 빅데이터 재료를 키우는 농장
빅데이터를 하기 위해선 데이터가 필요하다. 그냥 데이터도 아니고 대규모의 데이터가 필요하다. 이러한 대규모의 데이터를 직접 하나하나 기록하는 건 쉽지 않다. 결국 대부분은 수많은 API를 통해서 데이터가 수집되고 이것이 시너지가 되어 의미 있는 패턴을 추출하는 방향으로 흘러간다. 그러나 국내에선 빅데이터는커녕 스몰 데이터조차 제대로 수집할 수 있는 API 화가 이루어져있지 않다. 이런 상태로 외국의 빅데이터나 머신러닝 붐을 따라가기 위해서 시도를 하는 것은 도로 없이 슈퍼카를 만들라는 것이나 기초 과학에 대한 투자 없이 노벨상을 가져오라는 것과 비슷하다. 알파고가 승리 한 뒤에 한국형 알파고를 만들라고, 포켓몬 GO 이후에 뽀로로 GO를 만들라고 투자할 것이 아니라 그 기반에 먼저 투자해야 할 것이다.
물론 국내에서도 여러 가지 움직임이 생기고 있다. 네이버와 다음에서 다양한 Open API를 제공하기 시작했고 정부에서도 다양한 공공데이터를 제공하는 플랜을 세웠다. 그러나 여전히 많은 기업들은 이러한 API에 대한 중요성 인식이 부족하다. 빅데이터만 외치는 것보다 “API 활용 잘하는 기업이 비용절감뿐 아니라 수익도 높인다”에서 강조한 것과 같이 국내 기업에 대한 API의 중요성을 환기시키고 투자를 하여서 차근차근히 작은 데이터부터 수집하고 분석해나가는 환경을 조성하는 게 우선이라고 생각한다.
언젠가 능력을 키운 후에는 한국에서 공학과 IT업계의 발전을 위해 공헌하고 싶은 마음이 크다. 5년 전에 '한국의 IT는 왜 치킨집인가'라는 제목의 글로 짤막한 글을 쓴 적이 있다. 그때 짚었던 문제점이 과도한 SI 중심의 비즈니스, 원천 기술과 컨텐츠 부족, 고급 엔지니어의 부재 등이었는데, 당시와 비교하면 많은 부분이 좋은 방향으로 흘러가고 있는 것 같다. 스타트업과 IT업계에 대한 관심이 수년전에 비해 굉장히 커졌고 고급 인재들의 유입이 비약적으로 증가한 것만으로도 엄청난 발전이라 생각한다. 부족한 점도 많지만 앞으로 한국의 IT업계의 성장을 더욱 기대하는 바이다.
