2018 빅 데이터 및 인공지능 풍경

위대한 힘, 위대한 책임 : 2018 년 빅 데이터 및 인공 지능

 데이터 세계에서 흥미롭지만 복잡한 해가 되었다.
 
작년과 마찬가지로 데이터 기술 생태계가 계속해서 전속력으로 질주하고 있다.  비즈니스 및 개인 대화에서 2018 년에 데이터가 훨씬 더 전면적이고 중심적이었다.
 
데이터 기술 (빅 데이터, 데이터 과학, 기계 학습, 인공 지능)이 전 세계의 기업에서 보다 효율적으로 사용되고 널리 채택되고 있다. 지금까지 2018 년 기업에서 핵심 주제 중 하나가 디지털 변환(Digital Transformation)이었던 것은 우연이 아니다. 이 용어는 일부 사람들에게는 이상한 한 느낌을 줄 수 있다 ( "지난 25 년 동안 있었던 일이 아닌가?"). 그러나 더 많은 전통적인 산업과 회사가 이제는 진정으로 데이터 중심으로  전환하고자 매진하는 것이 그 증거이다.
 
 반면에 대중의 훨씬 더 광범위하게 데이터의 문제점을 인식하게 되었다. AI, Cambridge Analytica 스캔들, 대규모 Equifax 데이터 유출, GDPR(General Data Protection Regulation) 관련 개인 정보 보호에 관한 토론 또 중국에서의 정부 감시 증가 등 데이터 세계는 점점 더 어두워지고 무서운 숨은 저의를 드러내기도 하였다.
 
두 가지(데이터를 통한 디지털 변환과 부적절한 데이터 유출로 인한 위험성) 현상은 오랜 세월 동안 존재했지만 지금은 좀 더 드러났다고 볼 수 있다. (개인적이든 전문적이 든 간에) 모든 것이 디지털화되고 데이터 기술은 처리 및 분석에서 그 어느 때보 다 능숙 해지고 있다. 이 엄청난 양의 데이터는 점점 더 실시간으로 생산된다. 이로부터 마술과 같은 놀아운 일과 오용이 발생할 수 있다. 데이터가 갖는 막강한 권력을 책임 의식과 결합시키는 방법에 대한 토론이 필수적이다. 2018 년 주요 트렌드와 사건을 살펴보자.
 
인프라 및 분석
업계의 관점에서 볼 때, 혁신적인 신생 기업, 성숙한 "스케일 업"및 많은 공격적인 공공 기술 공급 업체들을 통해 데이터 생태계는 여전히 흥미롭고 활기찬 것이다. 무엇보다 크고 작은 많은 고객이 이러한 기술을 대량 생산에 적용하고 있으며 부단한 노력을 통해 가치를 인정받고 있다.

구형 IT 기술을 최신 데이터 제품으로 교체하는 사이클이 계속됨에 따라 빅 데이터 시장 (인프라, 분석)이 초기 구매자를 거치며 전통적인 채택 곡선의 후기 대다수로 전환하고 있는 것으로 보인다.
  

또한 데이터 세계는 클라우드에 대한 거침없는 진화를 계속한다. AWS, Azure, Google Cloud Platform, IBM은 이미 매 분기마다 수십억 달러의 수익을 창출하고 있음을 감안할 때 실제로 얼마나 믿기 어려운를 정도의 빠른 속도로 성장하고 있는지 알 수 있다.  이러한 경향은 벤더 종속에 대한 지속적인 우려를 불러일으키고 있으며, 이로 인해 멀티 클라우드 솔루션을 제공하는 신생 기업에게 기회가 열릴 수 있다. 그러나 현재까지 멀티 클라우드 전략을 채택한 회사조차도 여전히 주요 공급자로서 한 공급 업체에 의존하는 경향이 있다.
 
대규모 클라우드 제공 업체는 지속적으로 성장함에 따라 플랫폼 (예 : Amazon Neptune, Google AutoML 등)을 통해 다양한 빅 데이터, 데이터 엔지니어링 및 기계 학습 도구를 제공함으로써 서로 경쟁하고 있으며 종종 공격적인 가격 정책을 펴고 있다. 이는 그들의 진정한 비즈니스 모델이 데이터 스토리지이기 때문에 더 많은 개발자를 자기의 플랫품 끌어들이기 위한 것이다. 이러한 도구의 범위와 정교함이 지속적으로 증가함에 따라 신생 기업이 적어도 수평 적으로 광범위한 기회를 놓고 경쟁하기는 어렵다. 매년 큰 규모의 클라우드 벤더 회의 (AWS re : Invent 등 참조)에서 발표된 제품 목록은 신생 기업(Startup)들에게 충격을 주고 있다. 이는 수십 개의 벤처 캐피털 투자 신생 기업들이 대형 클라우드 벤더들과 직접 경쟁을 벌여야 하기 때문이다. 3 년 전에 Amazon이 출범시킨 Elasticsearch Service가 오픈 소스 소프트웨어 회사 Elastic의  IPO 공개때 시장이 어떻게 반응하는지 보는 것은 흥미로울 것이다.
 
그러나 신생 기업이 충분히 차별화된다면 아직 많은 기회가 남아 있다. 이 영역에 수 많은 부분이 빠르게 확장되고 있다. 또한 스트리밍 / 실시간, 데이터 거버넌스, 데이터 패브릭 / 가상화를 비롯하여 생태계의 인프라 및 분석 부분에 특히 흥미롭고 빠르게 성장하는 여러 분야가 있다. AI에 대한 관심이 폭발적으로 증가하면서 AI 칩, GPU 데이터베이스, AI devops 도구 및 기업에서 데이터 과학 및 기계 학습을 배포할 수 있는 플랫폼에 대한 많은 기회가 발생했다.
 
기계 학습 및 인공 지능
AlphaZero의 탁월함에서부터 새로운 진보 - 새로운 형태의 Generative Adversarial Networks, Vicarious의 새로운 Recursive Cortical Networks, Geoff Hinton의 새로운 Capsule Networks에 이르기까지 AI 연구의 세계에서 분명히 커다란 해였다. NIPS(Neural Information Processing Systems)와 같은 인공 지능 회의는 8,000 명의 사람들을 끌어들이고 매년 수천 개의 학술 논문이 제출되고 있다.

 
하지만 AGI(Artificial General Intelligence)를 추구하는 것은 아직 어려운 일이다. AI에 대한 현재의 흥분 (그리고 두려움)의 대부분은 2012 년 이후 딥 러닝 인상적인 성과에서 비롯되었다. 하지만 딥 러닝(backpropagation)과 기존의 무차별적 접근 방식(Brute force; 많은 데이터와 많은 컴퓨터 성능)에 대한 회의는 인공 지능 연구 공동체 안에서는 이제 "어떻게 하지?"라는 생각들을 하게 했다.  아마 뇌과학에 기초한 접근하는 것을 선호할 것 같다.
 
AI 연구 커뮤니티의 많은 사람들은 로봇 세계의 지배를 두려워하지 않지만은 계속해서 인공지능의 과잉 광고(기대)가 실망스러워 결국 다른 AI 핵 겨울로 이어질 수 있다고 우려하고 있다.

그러나 인공 지능 연구 이외에도 다른 산업 분야에서 음성 인식, 이미지 분류, 대상 인식 및 언어와 관련된 다양한 문제들은 실질 세계에서의 심층 학습 및 응용 프로그램의 시작 단계에 불과하다. 생태계의 인프라 및 분석 부분이 후기 대다수에 접어들었다면 우리는 엔터프라이즈 및 수직 AI 애플리케이션의 얼리 어답터 영역에 머물러 있다.
 
1 ~ 2 년 전부터 시작되었던 딥 러닝 기반 신생 벤처 기업들의  폭발적인 증가(Cambrian explosion)는 인공 지능 시장이 마침내 냉각될 조짐을 보이고 있음에도 불구하고 조금도 수그러들지 않고 있다. 기대치, 투자 크기 및 가치 평가 눈 여전히 높지만, 대기업 인터넷 회사가 잠재력있는 기술과 인력을 위하여 초기 창업 기업들을 싹 쓸어 가는 시대는 지났다.  과장된 반응을 보이고 있는 많은 회사들과 달리, "진짜"인공 지능 기업들이 드러나고 있다. 2014-2016 년 기간에 설립된 일부 신생 기업은 초기 규모에 다다르기 시작했으며 많은 기업들이 건강, 금융, 산업 4.0 및 백 오피스 자동화를 비롯한 다양한 업계 및 업종에서 점점 더 흥미로운 제품을 제공하고 있다.  딥 러닝은 앞으로도 계속해서 실제 응용 프로그램에서 많은 가치를 창출할 것이며, 수직 중심의 AI 스사트업 기업은 앞으로 많은 기회를 갖게 될 것다.
 
이런 지속적인 폭발은 세계적인 현상이며 특히 캐나다, 프랑스, 독일, 영국 및 이스라엘 등에서 활발하다. 그러나 중국은 인공 지능에서 완전히 다른 수준에서 게임을 하고 있는 것으로 보인다. (인터넷 회사와 지방 자치 단체를 통틀어) 정부 주도의 데이터 풀링, 얼굴 인식 및 AI 칩과 같은 영역에서의 급속한 발전, CB Insights에 따르면, 중국은 글로벌 AI 거래 점유율의 9 % 만 차지했지만 2016 년 11 % 에서 2017 년까지 전 세계 AI 예산의 48 %를 차지했다.
 
같은 맥락에서 데이터 프라이버시 (소유권 및 보안) 문제는 전 세계 주요 관심사로 부상하고 있다. 인터넷 초기에 데이터 프라이버시는 우리 활동의 비교적 작은 부분인 온라인에서 활동을 보호하는 것에 관한 것이었다. 그에 상응하여,  소수의 사람들 만이 진정으로 온라인 프라이버시 문제에 관심을 가졌다. 개인 및 직업 생활의 거의 모든 측면이 이제는 점점 더 많은 연결 장치를 통해 인터넷에 연결되기 때문에 상황이 변하고 있습니다. 대용량 데이터 세트에서  예외를 찾아내고 결과를 예측하고 얼굴을 인식할 수 있는 기능을 통해 AI는 데이터 개인 정보 보호 문제를 더욱 악화시키고 있는 것이다.
 
 
또 다른 우려는 많은 데이터가 대형 인터넷 회사 (GAFA: Google, Amazon, Facebook, Apple)에 소유되어 있다는 것이다. 페이스 북처럼 사람들은 인터넷 회사가 데이터의 완벽한 청지기가 아닌 것을 알게됐다. 그럼에도 불구하고이 데이터는 더 강력한 인공 지능을 생산하기 위한 경쟁에서 불공정 한 이점을 제공하고 있다.

이러한 이슈들에 대한 새로운 주제는 블록체인을 인공 지능의 위험성에 대한 하나의 해결책으로 생각할 뿐만 아니라 GAFA를 떠나 위대한 인공 지능을 생산할 수 있는 방법이라고 생각하는 것이다. 암호 경제학은 개인에게 개인 데이터를 제공하고 기계 학습 엔지니어 가 이 데이터를 익명으로 처리하여 모델을 구축하도록 장려하는 방법으로 간주된다. 이런 것들은 아직 매우 실험적이지만, 일부 초기 시장과 네트워크가 부상하고 있습니다.
 
2018 년 풍경
 유행어(Buzz words)는 생기고 사라진다. 요즘 적은 수의 사람들이 "빅 데이터 (Big Data)"에 대해 말하면서 "AI"에 대해 더 많이 말하고 있다. 그러나 빅 데이터와 인공지능은 종종 같은 의미로 쓰인다.  결과적으로, 우리는 2018 년의 풍경을 약간 새롭게 바꾸었다  이제는 "빅 데이터 & AI"풍경으로 부르자.

Note: 이 글은 "Great Power, Great Responsibility: The 2018 Big Data & AI Landscape" 란 제목으로 Matt Turck이 2018년 6월 26일에 본인의 블로그에 게재한 글을 허락을 맡고 번역한 글입니다.  원본은 다음 링크에서 http://mattturck.com/bigdata2018/ 볼 수 있습니다.  이 글의 일부를 공유하거나 사용하고자 하면 Matt Turck의 글 임을 반드시 명기해기 바랍니다.