‘증강 분석’이란 무엇이고 왜 중요한가?
Augmented Analytics가 기업의 디지털 지능이 되는 시기다.
이 글은 제가 [한국정보화진흥원]의 <클라우드 컴퓨팅과 디지털 서비스> 2020년 11월호 섹션에 기고한 글입니다. '디지털서비스 이슈리포트 03 ‘증강 분석(Augmented Analytics)’이란 무엇이고 왜 중요한가?' 이라는 글을 여기에도 함께 공유합니다.
0. 데이터의 분석에 새로운 지능이 필요하다.
많은 사람들이 톰 크루즈가 영화 <마이너리티 리포트>에서 손에 특수 장갑을 끼고, 여러 제스처를 통해 앞에 있는 홀로그램 화면을 조작하는 장면을 기억할 것이다. 영화는 2054년을 배경으로 범죄를 예측해 미리 방지하는 첨단 시스템을 보여준다. 이 영화는 대한민국 국민이 태극기와 붉은 악마 티셔츠를 입고 열심히 응원하던 2002년에 개봉되었으니 이미 20년 가깝게 시간이 지났는데, 오늘 우리가 사는 세상에서 그 영화 장면은 놀랍지 않다. 특수 장갑을 이용한 손 제스처 유저 인터페이스 는 이미 여러 학계 논문 들을 거쳐 상용화 실험을 거치고 있고, 홀로그램 기술이야 더 이상 신기술이라고 할 수 없을 정도로 증강현실에선 많이 발전된 상태다. 영화에서 나온 2054년이 훨씬 앞당겨져서 실현되고 있는 것 같아 보인다. 그럼에도 한가지 아직은 덜 익숙한 부분이 있다면 영화에서 본 범죄방지 시스템이다. 이런 광범위하고 다양한 종류의 데이터로부터 예측이 실현되는 통합 분석기술은 조금 더 시간이 걸릴 듯하다. 데이터로부터 시작된 작은 조각이 범인을 잡을 정도의 힘이 생기려면 여러 번의 진화와 가공이 필요하다.
그림1. 데이터의 진화 형태데이터의 진화는 그림 1과 같이 조각조각 모아진 원시데이터는 군집을 이루어 정보가 되고, 정보의 네트워크가 패턴을 이루면서 지식으로 발전한다. 이 정도 수준은 인류가 발전해 오는 동안 어떻게 데이터를 모으고 골라내고 분류하는 충분히 많은 연습을 해 왔다. 이제는 새로운 지식의 단계로 업그레이드가 될 시기인데, 이것이 가능 하려면 정형/비정형데이터를 모두 처리하는 빅데이터 능력에, 자연어를 데이터의 입출력으로 사용할 수 있고, 스스로의 학습패턴을 갖고 진화할 수 있는 머신 러닝과 AI의 이용이 필수 불가결하다. 데이터가 진보하고 진화하기 위해서는 그것을 제대로 분석하기 위한 도구가 동시에 필요한데, 그 분석방법 및 도구 역시 이런 새로운 시대의 지능이 필요하다.
1. 증강 분석 Augmented Analytics이란 무엇인가?
증강 Augmented라는 말은 현실 상황에 컴퓨터가 생산해 낸 데이터를 추가로 투영함으로 부가가치를 얻는 증강현실 Augmented Reality을 설명할 때 많이 등장한다. ‘증강분석’이란 용어는 2017년 가트너가 처음 사용하기 시작했는데, 현재의 데이터분석 방법 -마이닝을 통한 예측분석도 포함한다-에 머신러닝이나 자연어처리와 같은 AI기술을 적용하여 ‘증강된 부가가치’능력을 분석에 사용하는 기술을 말한다. 머신러닝은 데이터를 준비하는 과정과 통찰력 생성 insight generation, 생성된 통찰력을 시각화 프로세스를 자동화하는데 기여함으로 많은 상황에서 데이터 사이언티스트의 전문영역을 대체할 수 있게 한다. 또한 자연어처리는 비전문가나 업무에 숙련되지 않은 사용자라도 데이터에 접근하고 그 결과로부터 통찰력을 얻는 프로세스에서도 새로운 역량을 발휘할 것이다. 즉 데이터의 접근성을 혁신적으로 높이면서 분석의 품질은 전문가들의 영역까지 이르게 하는 새로운 데이터 분석방법을 이야기한다.
2. 분석 테크놀로지의 발전 과정
최근 몇 년간 분석테크놀로지 및 비즈니스 인텔리전스는 데이터 및 분석 전문가를 위한 정교한 도구에서 누구나 사용할 수 있는 증강 분석 테크놀로지로 발전하여 왔다. 각각의 분석 테크놀로지의 특징과 발전 형태는 다음의 그림 2와 같다.
그림 2. 분석기술의 발전형태와 특징3. 증강 분석이 왜 중요한가
가. 빅데이터 분석
데이터의 품질은 기업에게 가장 효과적인 경쟁수단이 된다. 이를 통해 기업은 언제 무엇을 생산할지, 누구에게 마케팅 할지, 어떻게 변화를 만들 것인지 등을 알 수 있게 된다. 오늘날 데이터의 양은 사람이 스스로 해석하거나 편견없이 해석하기에는 너무 방대하며 상황의 변화에 대한 즉각적인 답변을 가능하게 하는 것은 불가능하다. 빅 데이터의 바다에서 의미 있는 인사이트를 발견하려면 AI 및 머신러닝과 같은 기술이 필수이다. 데이터 사이언스와 AI를 결합하여 기업이 대규모 데이터 세트를 실시간으로 분석할 수 있는 것이 경쟁력이다.
나. 데이터 사이언티스트에 대한 의존도 탈피
분석 프로세스는 시간이 많이 걸리는 일련의 수작업이고, 일반적으로 데이터 사이언티스트만 수행할 수 있을 정도로 복잡한데 일반적인 과정은 다음과 같다.
1) 다수의 데이터 소스에서 데이터 수집
2) 분석을 위해 준비
3) 분석 수행
4) 의미 있는 통찰력insight 찾기
5) 결과 시각화 visualization
6) 설득력 있는 방식으로 결과 공유
7) 결과에 따른 실행 계획 만들기
이 방법의 심각한 부분은 전 세계적으로 능력 있는 데이터 사이언티스트가 크게 부족하고 그들을 고용하는 데 비용이 많이 든다는 것이다. 증강 분석이 이러한 전문가 역할을 완전히 대체하지는 못하지만 데이터 수집, 준비, 정리 및 분석과 같은 프로세스를 자동화하면 전문가에 대한 의존도를 줄일 수 있다. 증강 분석은 결과 해석과 같은 더 중요한 작업에 데이터 사이언티스트의 시간을 확보해줌으로 이러한 분석전문가가 기업에 제공하는 가치를 높일 수 있다. AI와 머신 러닝을 기반으로 한 분석을 사용하면 더 짧은 시간에 더 깊은 통찰력을 찾을 수 있을 뿐만 아니라 서로의 데이터 분석 편향을 보완할 수도 있다. 또한 비 전문 일반 직원이 ‘비즈니스 분석가에서 일반인 데이터 사이언티스트 (citizen data scientist)’가 처리하던 분석 역할을 담당하게 함으로서, 그들의 데이터분석에 관한 통찰력을 향상시키고 이전에 전문 데이터 사이언티스트만 수행했던 작업을 대신할 수 있도록 한다.
“2020년까지 데이터 사이언스 업무의 40%이상은 자동화될 것이다. 데이터사이언티스트의 희소성 문제는 데이터 사이언스와 머신 러닝의 도입으로 2025년 전에 해결될 것이다.” – 가트너 2018
다. 비 전문가들을 위한 분석기술 대중화
증강 분석이 중요한 또 다른 이유는 분석을 전공이나 전문으로 공부하지 않은 비 전문 "정보 탐험가"도 같은 업무에 참여할 수 있도록 하기 때문이다. 복잡한 분석 프로세스를 자동화하고 사용자가 자연어 질문만으로 데이터를 쿼리 할 수 있도록 함으로써 데이터 사이언스 기술이 없는 일반 직원도 고급 분석을 활용할 수 있게 된다. 머신 러닝은 다음에 물어봐야 할 질문을 추천하고 더 깊이 파헤쳐 야 할 곳을 제안함으로써 이러한 비 전문가를 인사이트의 세계로 충분히 안내할 수 있다.
증강 분석을 사용하면 쿼리에 대한 답변이 도표, 그래프, 지도와 같이 미리 만들어진 데이터 시각화의 형태로 제공되므로 사용자가 직접 만들 필요가 없다. 이러한 시각화는 간단한 명령으로 자동화할 수 있고 데이터 스토리에 연결하고 다른 팀이나 매니저에게 쉽게 공유할 수 있다. 특별한 전문 박사 학위가 없어도 수행할 수 있는 일이 된다.
4. 증강 분석의 이점
증강 분석은 개선된 리포팅기능 및 의사 결정 지원과 같은 부분에선 비즈니스 인텔리전스와 동일한 이점을 제공하지만 인공 지능 및 머신러닝이 없이는 불가능한 수준의 속도와 정확성을 제공한다. 다음이 증강 분석에 관한 명백히 드러나는 이점들이다.
가. 신속한 데이터 준비:
분석 전문가는 분석을 위해 데이터를 준비하는 데 약 80 %의 시간을 소비하는데 경우에 따라서 수백만 개의 레코드가 포함된 대용량 데이터세트를 내보내고 분석을 시작하기전에 이것을 결합하거나 정리하면서 구조화한다. 증강 분석의 머신 러닝은이 프로세스를 자동화하여 분석전문가가 더 가치 있는 분석업무에 집중할 수 있도록 해주고 동시에 오류를 줄여 준다.
나. 분석의 자동화:
머신러닝 모델은 데이터 사이언티스트가 자체적으로 구축하는데 몇 주가 걸리는 복잡한 분석을 자동화할 수 있다. 결과 및 데이터 시각화가 즉시 생성되어 사용자가 사용할 수 있으므로 데이터를 파헤치는 시간을 줄이는 만큼 그 시간을 통찰력을 해석하고 데이터 스토리를 보고하고 업무 결정을 지원하는데 더 많은 시간을 할애할 수 있다.
다. 심도 깊은 통찰력:
기계는 인간이 할 수 없는 방식으로 데이터를 볼 수 있다. 더 많은 각도에서 훨씬 더 큰 데이터 세트를 조사할 수 있고 인간의 눈에는 보이지 않는 통계적 상관 관계 및 패턴을 찾을 수 있다. 기계는 데이터를 규모와 상관없이 신속하게 이해하고 편향되지 않은 통찰력으로 인간의 지능을 강화하며 사용자에게 주의를 집중해야 할 위치를 알려준다.
라. 대화형 분석:
Siri 및 Alexa와 같은 디지털 비서에 사용되는 것과 동일한 대화 형 AI 기술인 자연어 처리를 통해 쿼리할 수 있는 언어나 코드에 대한 지식이 없는 비즈니스 사용자가 대화 형 방식으로 질문할 수 있다. 또한 자연어 생성 (NLG: Natural Language Generation)은 결과를 요약이나 설명을 완전한 문장, 서면 또는 구두로 답변을 제공한다.
마. 즉각적인 비즈니스 이해:
비즈니스를 이해하지 못하는 통찰력은 의미가 없다. 머신러닝 알고리즘은 사용자의 의도와 행동에 근거하여 어떤 조치를 취해야 하는지를 인식하는 ‘상황 인식 통찰력 context-aware insight’을 즉각적으로 제공한다.
5. 증강 분석 (가상) 사례
이곳에서는 증강분석을 통해 업무 효율성을 얻은 사례를 소개한다. 실제 기업 업무 환경에서 충분히 일어날 수 있는 상황을 가상의 시나리오로 설명한다.
마케팅과 영업부서 사례
1. 업무 담당자: 경쟁이 치열한 통신 회사의 비즈니스 분석가
2. 수익성 확대 계획: 관련 제품 또는 서비스를 상향 판매 및 교차 판매하여 개별 고객에 의한 회사의 "지갑 점유율 share of wallet"을 확장할 수 있어야 전반적인 수익과 수익성을 높일 수 있다. 국제전화 플랜, 무제한 데이터 옵션 또는 번들 제품등 새로운 제안이 무엇이든 현재 및 미래의 요구에 맞는 적절한 프로모션을 설계하기 전에 먼저 고객을 이해해야 한다.
3. 현재 접근방법: 과거의 마케팅 리소스를 뒤져서 특별한 표시를 해 놓았던 데이터나, 원하는 결과를 제공하지 못했던 프로모션을 새롭게 디자인한다. 스프레드 시트 기반의 수동 분석은 복잡하고 시간이 많이 걸리며 특히 분석 비전문가의 경우 고객 데이터를 통합하여 이전 구매 행동을 기반으로 올바른 잠재 고객과 올바른 제안을 찾아내려 할 때 오류가 발생하기 쉽다.
4. 증강분석 적용
가. 진실의 단일 소스:
증강 분석의 주요 이점 중 하나는 데이터 (이 경우 고객 데이터)가 분석 및 통찰력을 위해 단일보기single-view로 통합된다는 것이다. 이런 경우 상향 판매 및 교차 판매 캠페인을 디자인하는 프로세스가 빨라질 뿐만 아니라 캠페인 효과도 크게 향상된다. 고객 데이터에 대한 즉각적인 가시성을 바탕으로 영업 또는 마케팅 분야의 비즈니스 분석가는 연령, 위치, 직업 및 교육 수준에 관한 기본 인구 통계 데이터를 탐색한 다음 이 정보를 과거의 구매 행동과 연관시킴으로써 즉시 분석 작업을 시작할 수 있다.
또한 증강 분석은 분석전문가가 아닌 상황에서도 다음과 같은 관련 질문을 쉽게 할 수 있도록 한다. “특정 제품 및 서비스 제공에 대해 특정 지역에서 가장 수익성이 높은 고객은 누구인가? 과거 구매에 가장 큰 영향을 미치는 요인은 무엇인가? 경쟁 업체를 선택하지 않고 우리기업을 선택한이유는 무엇인가?” 또한 기존 구매 또는 온라인 상점 방문 회수 또는 분기에 보낸 평균 통화 또는 문자 메시지 수가 등이 모니터링을 중점 KPI로 봐야 한다는 제안이 머신러닝에 의해 제공되기도 한다
나. 머신러닝의 능력
이 시나리오에서 머신 러닝은 많은 양의 과거 고객 데이터를 정렬하고 알고리즘에 따라 고객 프로필의 패턴과 과거 구매 행동을 감지함으로써 특정 고객 혹은 잠재 고객이 새로운 제안이나 캠페인에 긍정적으로 반응할 가능성을 예측할 수 있다. 예를 들어 개별 구매 성향에 따라 고객 리스트가 작성되고, 성향 점수 순서로 추적된다. 이 경우 주요 측정 항목은 프로모션을 수락하는 그룹의 성향과 이를 거부하는 성향으로 구분되어 분석된다. 분석에 관한 비전문가입장에서 영업 및 마케팅부서의 판촉 효과를 개선하도록 돕고자 하는 비즈니스 분석가에게 이런 정보는 대단히 중요하다. 그러나 머신러닝이 제공한 것과 비슷한 품질과 속도로 같은 성향을 가진 "유사 그룹"을 스프레드 시트와 수동 분석을 사용하여 생성한다는 것은 사실상 불가능했을 것이다.
증강분석에 관한 더 많은 참고 사례는 이곳을 참고하기 바란다.
6. 마무리
증강 분석은 좀더 빠른 시간에 데이터를 분석하여 그곳에서 혁신적인 인사이트를 얻기 위한 방법으로는 최적의 게임 체인저라고 할 수 있다. 이제는 전문 분석가가 아니어도 모인 데이터로부터 머신러닝과 자연어 처리, 자연어 생성과 같은 AI기술을 통해 즉각적이고 신뢰할 수 있는 통찰력을 얻어 업무 전반의 역량을 강화할 수 있다. 비즈니스에 대한 투자의 관점에서도 수작업이나, 데이터 사전작업, 분석작업을 통해 소비된 모든 시간, 비용, 노력에 대한ROI가 비교할 수 없을 정도로 높아진다. 증강분석의 부가적효과이지만 매우 중요한 점은 그 기업이나 조직의 의사결정이 매우 투명하게 ‘데이터 기반’으로 이루어진다는 사실이다. 진정한 의미의 ‘데이터기반 의사결정 기업’이 되는것이고 이 부분은 기업문화에 큰 영향력을 만들어 내외적으로 신뢰감 상승에 크게 기여한다.
