쉬운 데이터 분석이 만들 미래
SaaS, 번역기가 있다고 영어 공부를 할 필요가 없을까
최근 클라우드 서비스 포트폴리오를 보면 고급 통계나 AI 이론을 굳이 깊게 배울 필요가 없을 정도로 편하게 다룰 수 있는 새로운 제품이 쏟아지고 있습니다. 몇 줄의 코딩이나 어떻게 지표를 보는지만 알면 조금만 노력하면 시계열 예측이나 텍스트 분석 같은 방법을 내가 하는 일에 적용할 수 있을 것처럼 보입니다. 데이터와 기술을 보편적으로 사용하도록 쉽게 만들면서 더 많은 매출을 올릴 수 있는 전략으로 클라우드 서비스는 생태계를 넓혀가고 있습니다.
그런데 사실 이런 흐름은 새삼스러운 게 아닙니다. 불과 약 10년 전까지만 해도 회사에서 모두가 볼 수 있는 대시보드 하나 만들려고 해도 IT 조직과 몇 주를 걸쳐 논의해서 무겁게 시스템 하나를 만들어야 했지만 지금은 시각화 도구를 써서 몇 명이 수고하던 작업을 한 두 명이 짧은 시간에 처리할 수 있습니다. 오죽하면 BI를 구현하는 조직이 별도로 있었던 때도 있었지만 지금은 찾아보기 어려워진 것과 비슷하죠.
몇 년 전 구글 번역기가 신선한 충격을 주었을 때 사람들은 우스개 소리로 이제 조금 더 있으면 외국어를 배울 필요가 없겠다고 말했습니다. 그로부터 몇 년이 지난 지금 사실 상당히 이런 말은 맞는 것처럼 흐르고 있습니다. 우리는 크롬에서 간단한 조작으로 부자연스럽긴 하지만 외국 사이트를 한글로 번역해서 볼 수 있게 되었고 이메일을 번역하고 작성하는 데 어려움 없이 번역기를 사용하고 있습니다. 해외여행 때 의사소통이 서로 막히는 부분에서도 도움을 받습니다. 그렇다고 외국어를 배울 필요가 없어졌을까요?
대답은 각자의 마음에 있겠지만 최근 분석, AI와 관련된 분야에서도 이 질문은 같은 프레임으로 적용될 수 있습니다. 더 쉬워진 IT 시스템 구축, 분석, 서비스 만들기가 가능해지면서 그냥 사용할 줄만 알면 되는 거 아니냐는 이야기도 듣습니다. 어떻게 쓰고 접근하느냐에 따라 틀린 말은 아니지만 이럴수록 향후 어떤 흐름이 이어질지 생각해보는 것도 가능합니다.
1. 데이터 분야의 역량 양극화가 더 심해질 것입니다
가장 먼저 생각할 수 있는 미래 모습은 데이터 분야의 역량이 양극화되리라는 것입니다. 초급에서 중급에 이르는 데이터 분석가가 설 자리가 좁아질 것입니다. 최근 데이터 분석 서비스들이 제공하는 제품은 대부분 기본 수준의 분석을 누구나 해 볼 수 있는 것을 타깃으로 합니다. Python 코드 몇 줄만 넣을 줄 알면 자기가 갖고 있는 데이터로 시계열 예측부터 추천 모델도 만들 수 있습니다. 돈이 좀 들지만 엑셀 함수를 복잡하게 잘 다룬 사람이라면 굳이 직업이 분석가가 아니더라도 자기가 하는 일에 분석 결과를 적용하는 것은 어렵지 않은 세상이 되었습니다. AWS는 Forecast, Comprehend 등의 서비스를 손쉽게 이용하도록 만들며 타깃을 확장하고 있고 MS도 기존 엑셀에서 어지간한 기초 분석을 간단한 세팅으로 할 수 있도록 만들고 있습니다.
이렇게 되면서 도메인에 맞도록 모델을 커스터마이징 하는 것이나 새로운 모델을 적용하는 게 아니라면 늘 쓰던 것을 쓰는 사람은 서비스에 의해 대체될 수 있는 가능성이 높아지고 있습니다. 대신 그 자리를 현재 관련 업무를 하는 사람이 OA를 사용하듯이 분석을 하면서 채우게 될 것입니다. 데이터를 다루는 분야에서 사람들의 수준은 점점 높아질 것이고 있는 것을 반복하는 사람은 커리어 글라이딩을 하는 방향으로 진행될 것입니다.
반면에 기존 산업에서 연역적인 방법으로 전략을 수립하거나 마케팅, 경영 기획을 진행한 분들은 데이터 관련 기술을 더 요구받을 것입니다. 시장 구분 방법이나 재무/회계에 대한 이해 등 숫자를 기반으로 논리를 관철시키는 일을 하던 분들은 필연적으로 숫자를 집계하는 것이나 자신의 생각으로 차이와 분류를 정하는 과거 기법에서 멀어질수록 뚜렷한 경쟁력을 업계에서 갖게 될 것입니다. 직무 전반적으로 데이터를 다루는 게 교양처럼 되어가는 것이죠.
2. 비용 대비 효용을 생각하는 큰 시점이 올 것입니다
쉬워지는 데는 비용이 따르기 마련입니다. 클라우드 서비스나 유료 솔루션에서 제공하는 분석 기능들 대부분은 개인이나 회사에서 어느 정도의 기간 동안 작업하면 구현할 수 있는 것입니다. 문제는 시간이 비용이기에 돈으로 시간을 사게 되면서 서비스에 더 종속적으로 변해간다는 것이죠. 한 번 편해진 서비스를 사용하기 시작하면 그 이상에 대한 탐구를 하지 않는 사람들이 생겨납니다. 가치 판단의 영역이지만 그저 이것을 잘 돌리면 되는 것으로 그치면서 효용을 누리는 것으로 변하는 조직이 나올 수 있는 것이죠.
커머스를 운영하면서 추천 모델도 제공하는 거 받아서 돈 내고 사용하고 리뷰 시스템에서 고객 감정을 분석하거나 이미지를 검수하는 것도 유료로 건당 서비스받을 수 있습니다. 하지만 서비스가 커지면서 혹 다른 커머스와 차별화된 요소로 기능을 사용하는 전략을 세우면서도 더 많은 양의 데이터를 늘어난 비용을 쓰면서 같은 방법으로 유지할 수는 없습니다. 스스로 만들어야 하는 시점은 오게 되죠. 아니라면 결국 늘어난 비용에 대해 고민할 시간이 오게 될 것입니다. 생각보다 사용한 만큼 과금을 하는 서비스들은 많은 양을 쓰게 되면 초기에는 생각하지 못한 금액이 나오면서 사용자 측에서는 비용을 줄이기 위한 사람이나 조직이 세팅되기도 할 것입니다.
그렇게 된다면 현재 회사에서 담당 업무를 맡고 있는 사람들의 역량을 다시 고민해보는 시기가 올 것입니다. 기존에는 특정 솔루션을 잘 사용하는 사람에서 해당 분야의 결과물을 혼자 오픈소스를 통해 만들 수 있는 사람으로 바뀌기도 하겠죠. 데이터 분야의 양극화와 연결되는 지점입니다.
3. 데이터 자체에 대한 수요와 연구가 더 진행될 것입니다
많이 아시겠지만 최근 각광받고 있는 분야가 데이터 라벨링입니다. AWS에서도 최근 음성 등의 비정형 데이터를 라벨링 해 주는 제품을 새로 선보인 바 있고 국내 많은 데이터 라벨링 기업들에 투자금이 들어가고 있는 상황입니다. 물론 주기적으로 놀라운 모델들이 새로 만들어지고 성능 혁신에 크게 기여하고 있지만 이제 초거대모델 등 모델을 구성하는 알고리즘 자체를 개인이나 작은 기업에서 다루면서 데이터를 적용하는 시기는 지나가고 있다는 생각이 듭니다. 다만 공개된 모델을 잘 쓰는 것이 더 필요하게 되었는데 모두가 할 수 있는 중요한 요소가 데이터 그 자체겠죠.
기업에서는 원하는 품질의 데이터를 확보하는 것과 단기간에 축적할 수 없는 데이터를 구매하는 것을 진행할 것입니다. 물론 대부분은 원하는 수준의 품질 있는 데이터를 갖고 있지 못합니다. 그래서 당분간은 데이터 수집, 라벨링에 많은 투자를 할 수밖에 없을 것입니다. 지금 데이터를 어느 정도 양적으로 확보하고 있다고 하더라도 품질을 따져보기 위한 수요가 발생할 수밖에 없습니다. 비정형 데이터는 품질을 단순히 양과 결측, 정합성 등 논리적인 것만으로 판단할 수 없기 때문이죠. 반면 데이터가 아예 없는 기업은 현재 상태에 장기간 머물러 있을 확률이 높습니다.
쉬워지는 데이터 활용 능력은 다룰 수 있는 방법이 간단해진 것을 의미하지 원리가 간단해진 것을 말하는 것은 아닙니다. 당연히 원리에 대한 이해가 중요하고 많은 분야에 쓰일수록 더 높은 가치를 가질 것입니다. 쉬운 분석은 기존에 기능으로 나눠진 조직을 하나로 통합시킬 수도 있습니다. SI 회사라면 기능 단위의 조직이 몇 개의 큰 카테고리로 묶일 것입니다. 현업에서 편하게 데이터를 다룰 수 있게 된다면 데이터를 산업에 어떻게 적용할지는 더 가속화될 것입니다.
