인공지능 챗봇 개발, 가장 중요한게 '자연어'라고요?

인공지능형 챗봇.. 다들 자연어 자연어 하지만.. 사실 가장 중요한것은?

인공지능 그리고 챗봇, 기업들의 많은 관심속에 그걸 이용하는 악의 인공지능 군단(?)들이 배후에 있다.

인공지능 , Chat-bot (이하 챗봇) 이 많은 기업들, IT 시장, 개발자 사이에서 
얼마나 큰 이슈인지, 만약 지금 아셨다면! 글을 읽고 있는 당신은 이미 너무 늦게 관심을 가졌다고 할 수  있다.

하지만 관심을 늦게 가졌을 뿐.
절대적으로 시장에서 뒤쳐졌다고 할 수는 없다.  

핵심만 말씀드리자면, 현재 수 많은 이름을 붙이고 나온 '인공지능' 혹은 '인공지능 챗봇' 서비스들은
우리가 기대하고 사용하고 싶은 인공지능 서비스의 아주 기초적인 단계에 불과하다.
그리고 그 기초적인 단계의 Tree형태의 프로그램 ( 대부분 회사들이 인공지능 서비스나 솔루션으로 홍보하고 있다.)
을 불행하게도 '당신의 인공지능 비서' 나 '당신의 인공지능 친구' 로 이름을 붙여서 홍보하고 있다.

그렇다. 한마디로 IT나 인공지능 관련 경제 뉴스에 등장하는
다양한 이름들의 인공지능/챗봇 들은 아직 여러분들이 완벽하게 '와! 인공지능이다!' 라고 생각할 정도의 
인공지능 서비스나 솔루션은 절대 아니다. 하지만 대부분 인공지능을 이야기하는 이유가 있다.

바로 기초 인공지능 서비스를 토대로 우리가 흔히 들어본 
Machine Learning , Deep Learning (머신러닝, 딥러닝 : 신경망 방식을 이용한 머신 학습 방법)
을 사용하여, 기초 인공지능을 토대로 쌓은 데이터와 패턴들을 학습시키고
'가까운 미래에 인공지능화' 하겠다. 라는 이야기다.

페이스북 창업자 '주커버그' 는 페이스북 메신저 와 플랫폼을 활용한 '인공지능' 시장에 로드맵을 제시했다.

당연한 이야기다. 아주 당연하기 때문에 
"우리는 엄청난 스카이넷(영화 터미네이터의 인류를 지배하는 기계,인공지능) 이나 JARVIS( 자비스, 아이언맨의 인공지능 비서)
같은 인공지능을 만들고 있다" 라고 한다면, 만드려고 노력이야 하고 있겠지만
사실상 기업 선전용 마케팅이거나 사기에 가깝다. 

당신의 기업(혹은 개인) 인공지능 기술 시스템이나, 챗봇을 개발하려 하는데
만약 Bidding(비딩) 중인 업체가 "우리는 당장 아무것도 없지만.. 인공지능을 만드는 회사입니다."
라고 한다면.... 조용히 통화종료 버튼을 눌러야 할 것이다. 

왜냐? 사기기 때문이다. (사기가 아니라고 우기고 싶다면, 사기란 단어의 정의를 다시 Learning 하고 오시길)

작성자는 같은 IT 업계에 항상 신기술/새로운 비지니스가 화두 되고 전세계 적으로 이슈가 될때마다
이슈가 되는 사업을 기획서와 그럴듯한 디자인으로 (기술은 NEVER 없다. NEVER!)
각종 IT 관련 경제 신문이나 뉴스에 런칭 기사를 내보내고
어디서 알지도 못하는 상을 받았다느니,  허황된 기술을 사이트에 대놓고
올려놓은 많은 '무늬만 IT 회사' 들을 많이 봐왔다. 

생각해보시라, APP 시장이 화두가 되었을때, 비트코인이나 블록체인으로 핀테크가 화두가 되었을때
그리고 또 지금 인공지능/챗봇 이 화두가 되었을때 

항상 기술 발전은 느리게 느껴진다. 하지만 언론에 나오는 업체들은 당장 내일이라도 
우주정복이라도 할 기세이고 아주 그럴듯한 기사를 내보낸다. 모두 보여주기 위한 SHOW(쇼)
라고 보시면 된다.

앱에서 했던 모든 기능들을 '챗봇' 에서도 통일 된 UI 로 구현할 수 있다. 앱 설치가 필요없다는것이 바로 챗봇의 장점

그렇다면 인공지능/챗봇 개발을 하려 한다면, 가장 중요하게 생각해야 하는 
'순서' 는 무엇일까? 그리고 어떠한 '로드맵' 을 잡고 '인공지능' 을 서비스화 하고 시스템화 해야할까?

글 작성자는 꿈많은청년들이란 IT 회사에 마케터이자 디자이너로 일 하고 있다. 
개발자는 아니지만 인공지능과 챗봇에 관심을 갖고 많은 인공지능, 챗봇, 머신러닝 관련 서적들과 글을 읽었다. 
관련 글의 작성자들, 책의 저자 들이 공통적으로 이야기하는 부분을 알게 되었다. 

그리고 가장 분노(?)했던 것은 미래의 대한 '준비' 보다도 우리나라 IT 회사와 개발사들은
어떻게든 지식이 없는 기업들의 주머니만을 노리고 있다는 것이다.(마치 일회용품 처럼)
그들과 함께 파트너로서 다양한 사업 영역의 DB를 쌓고, 그 DB를 기술로서
'축적' 과 '정제' 하는 로드맵을 전혀 가지고 있지 않다.

벌써 몇년전 부터 외국의 IT 회사들은 기초 인공지능과 챗봇을 이용, '무엇을' '어떻게' 사용하여
'진짜 인공지능 서비스or시스템' 을 만들 계획을 모두 잡았다.
그리고 그 '계획'의 공통점은 'DB (데이터베이스)' 이며, 단순한 DB 가 아닌 
'올바른 DB 를 쌓는 기술 (방법)' 이다. 

그러면 우리가 알고있는 알파고(Alpah Go) 같은 바둑 인공지능을 만든 '머신러닝, 딥러닝 기술' 은???

머신러닝, 딥러닝 기술은 이미 우리 눈 앞에 있다. 
그 유명한 '알파고' 가 '학습 기술(방법)' 으로만 고도의 인공지능 바둑 기사가 되었다고 생각하시는가? 

'절대 아니다'  '절대 절대 절대 절대 아니다!' (외침) 
물론 머신러닝, 딥러닝 기술은 현존하며, 절대적으로 필요한 기술이다.
그리고 알파고 또한 특유의 학습 방법으로 더욱 뛰어난 인공지능 바둑 기사가 되었다.
하지만 그것만이 절대 아니다.  알파고가 있기 까지 가장 중요한것은 
바로 '바둑 (대국) 데이터' 였다.  이 수 많은 DB 를 토대로 스스로 검증하며 학습을 했다.
(알파고는 약 18개월간 데이터를 쌓으며 훈련을 했다고 한다. 초창기에는 중국 바둑 룰을
기초로 했고, 프로 기사와 대국을 할만한 실력도 되지 못했다. 그만큼 데이터 쌓기에
시간과 공을 들였다.)
다른 인간 기사들과 이벤트를 통해 승부하며 DB를 쌓기도 했고 
두가지 패턴의 알파고 끼리 승부하며 DB 를 쌓기도 했다.
이렇게 스스로 DB 를 쌓는 방식이 고도화 되고 계속해서 발전하여
결국 인간이 이기기 힘든 인공지능 바둑기사를 만들어 냈다.

다양한 기업들이 다양한 영역의 챗봇들을 개발해서 서비스하고 있다. 이유가 뭘까?

그렇다면 인공지능/챗봇 이 가야할 로드맵은?
꿈많은청년들이 계속해서 고도화 하고 개발 중인 인공지능 시스템 'TURING(튜링)' 은 
중요한 로드맵으로 '정제된 데이터를 축적하는 기술' 을 중점적으로 보고 있다.
'올바른, 정제된 데이터' 는 바로 정확한 수준의 인공지능을 만들 수 있기 때문이다.
정제된 데이터의 학습은 분명히 현재 인공지능이 겪고 있는 한계를 분명히 넘어설 수 있다.

'챗봇' 은 그러한 '올바른 데이터' 를 쌓기 위한 아주 좋은 수단이자, 서비스 일 수 있다.
여러 사업 영역의 파트너들과 함께 '다양한 데이터의 챗봇' 을 개발해서 서비스 한다면,
분명 꿈많은청년들의 인공지능  '튜링' 이 원하는 데이터를 만들 수 있을것이다.

사람들은 이러한 '챗봇' 혹은 '상담 로봇' 에 가장 중요한 것이 [자연어 처리 문제]
라고 말하기도 한다.  하지만 자연어 처리 문제는 이미 오래전 부터
많은 기업들이 연구를 거듭했고,  영어는 완벽에 가까운 문제를 해결했지만
복잡한 한국어는 아직까지도 '자연어' 에 대한 완벽한 해결을 못하고 있다. 

영어의 자연어 처리는 거의 완료 되었다. 하지만 아직 메시지와 룰베이스를 모두 혼용해서 외국도 챗봇을 서비스하고 있다.

영어 와 한국어는 분명 다른 언어이고, 자연어 처리 방식에 있어 많은 다른 문제들을 갖고 있다.
하지만 자연어 처리 문제는 곧 해결 될것이다. 
하지만 인공지능 기술=자연어 (사람처럼 똑같이 말하는 인공지능을 원해서이기도 하다.) 라고만 생각하며 절대로 안된다.
자연어 처리는 선두 공룡급 IT 회사들 (구글,MS,애플,IBM, 등등) 이 이미 오래전부터 연구를 시작했고
완성이 되어가는 단계이다. 

*사실 다른 이야기지만 얼마전 한국어 자연어 처리 솔루션이 이상한 것들을 학습해서 (Bad Data) 
사람들에게 혐오감을 주는 발언들을 했다. 아직 개선할 문제들이 있다. 역시나 데이터가 중요*

만약 위에도 언급을 했지만, 당신이 어느 IT 회사나 개발사에 전화 문의를 해서 
인공지능 챗봇을 개발하고 싶다고 의뢰하는데  "우리는 완벽한 자연어 처리를.... " 같은 소리를 한다면
마찬가지로 조용히 통화종료 버튼을 누르길 바란다. 

'완벽한' 자연어 처리도 아직 없거니와 자연어 처리 기술은 후발 주자들이 매달리고 있다면
마치 MS 윈도우와 아주 똑같은 (더 나을것도 없는) OS 를 또 다시 이름만 바꿔서 만들고 있다는 뜻이다.
(머신러닝, 딥러닝 기술을 만들겠다. 라고 말하는 것도 역시나 같은 맥락이다. 물론 다른 방식의 학습법은 개발할 수 있다.)
안좋게 말하자면 '미친 짓' 이라고 할 수 있다. 

한마디로 '자연어 처리 기술' 은 '데이터 정제 기술' 과 함께 차근차근 적용해야할 기술이다.
기초 인공지능 서비스(챗봇) 을 개발하고 단계적으로 데이터 쌓기 와 함께 
기술적인 발전을 하는것이 정당한 '인공지능 개발 로드맵' 이라고 할 수 있다.

인공지능 '챗봇'은 '앱'을 대신하는 기능적인 면도 있지만, '채팅 로봇' 이란 이름답게 '상담' 에 관련 된 비지니스 모델이 많아지고 있다.

그렇다면 우리가 바라는 '인공지능' 그리고 '챗봇' 은 어떤 방식으로 개발을 해야할까? 

꿈많은청년들의 인공지능 시스템 '튜링' 은 작년부터 기업들과 함께 기업 비지니스 특성에 맞는 '챗봇' 을 개발하고
데이터(DB) 를 쌓는 기술을 함께 논의하며 개발하고 있다. 

대표적인 예로 한국GM (한국 제네럴 모터스) 와 함께 개발한 '쉐보레 올 뉴 크루즈 챗봇' 이다. 
한국GM 과 함께 2017년형 쉐보레 올 뉴 크루즈 신차에 대한 
각종 제원들과, 가격표, 주변 대리점, 시승예약, 견적 신청 등을 챗봇과 대화하며 정보를 받아 볼 수 있다.
( 챗봇 대화 링크 - http://m.me/chevroletkorea )

한마디로 사람이 할 수 있는 온라인 '상담' 을 챗봇이 돕는 형태의 '기초 인공지능' 을 구축하고
데이터를 쌓고 있다. 

한국GM 이 2017년형 올 뉴 크루즈 신차 홍보와 상담을 위한 챗봇을 꿈많은청년들과 개발하고 출시하였다.

이 외에도, 음식 배달업체인 '식신' 과 배달 음식, 맛집에 관련 된 챗봇을 개발했고
영화 정보를 대화를 통해 알려주고 장르별로 추천 해주는 '영화 추천 챗봇' 도 개발했다. 
그리고 앞으로 또 다른 파트너 기업들과 '약품' '도서' '관공서' 등 다양한 영역의
챗봇도 개발 중 이다.

자동차, 음식, 영화 등 다양한 영역의 '사용자가 원하는 상담 데이터'를 쌓고 있는 튜링은 
온전히 '데이터를 쌓는 방법(기술)' 에 '인공지능' 의 미래가 있다고 생각한다.

많은 관련 업체들이 다양한 방법의 '데이터 축적,정제 기술' 이 있어야 한다고 생각한다.
단순하게 "인공지능을 만듭니다" 라는 식으로는 더이상 '인공지능 개발' 을 말해서는 안된다.

챗봇을 만드는데 기초적인 인공지능을 사용한다. 의사 결정나무를 활용한 키워드 추출형 답변 방식이다.

'Decision Tree (의사 결정 나무)' 

각각 메신저 플랫폼 (페이스북, 카카오톡, 라인, 네이터톡톡) 등을 이용한 '챗봇' 들이 현재 
개발 가능한 수준의 위의 의사결정 나무를 이용한 '키워드 추출형 답변' 방식이다.

혹은 '룰베이스 (메뉴 선택지)' 를 활용한 대화가 없는 형태의 선택형 질의응답 형태이다. 
뭐가 더 편하냐 묻는다면.. 사실 개취(개인의취향) 이기 때문에 무엇이 올바른 '기초적인 챗봇' 이다 
말 할 수는 없다. 사용자 환경이 모두 다르고, 선호하는게 다르기 때문에 
가급적 '챗봇 서비스' 는 두가지 방법 모두를 사용해서 개발하는것이 좋다.

[그렇다면 작성자가 생각하는 챗봇의 발전 로드맵을 보도록 하자.]

꿈많은청년들 튜링(TURING) 이 상담에 특화 된 인공지능 시스템을 만들기 위한 방식이기도 하다.

데이터는 힘이다. '올바른 인공지능' 을 만드는 힘은 바로 데이터이다. TURING 인공지능 시스템은 상담 DB를 수집하여 학습한다.

고객 상담 DB(데이터) 수집 -> 머신러닝(구글 A.I 시스템) -> 지능화된 자동 답변(자연어 처리 이용) 

단계별로 튜링(TURING A.I)을 통해 축적 된 데이터를 정제해서  구글 A.I 를 통한 머신러닝을 한다.
머신러닝을 통해 학습한 답변 정보를 가장 최적화 된 답변을 만들고 조합하여, BOT 이 상담 답변을 하게 된다.
아마 사용자들이 원하는 기초에서 발전된 '인공지능 상담 챗봇' 이란 이러한 형태라고 생각한다.

이미지가 무엇인지 분석해서 알려주는 인공지능 시스템과 문의 고객의 음성을 파악해서 봇이 음성으로 답변해주는 음성 분석도 중요하다.

TURING (튜링) 인공지능 시스템은 머신러닝을 이용한 이미지 분석과 , 음성 분석 또한 개발 중 이다. 
그리고 이러한 모든 상담에 관련 된 인공지능 시스템이 결국 완벽한 수준의 '상담 로봇' '상담 인공지능' 
을 만들어 낼 수 있다. 사용자가 채팅 및 음성, 이미지 를 이용한 다양한 방식의
문의에 대처해야 하며, 그 대처 방법을 다양한 기술들을 활용해서 처리 해야만 한다. 

인공지능이 다 할수는 없다. 사람도 모든걸 다 처음부터 잘 할수는 없다. 인공지능은 그런 부분'만' 돕는것이다.

인간을 대체한다고? 매우 건방지다. Suggestion 이 먼저다. 

중요한 것은 인공지능 시스템이 상담원(사람) 의 직업을 강탈(?) 하고 뺏는것이 '절대' 아니다.
꿈많은청년들은 튜링 인공지능 시스템이 '사람' 을 대체하기 보다 
'사람' 을 돕는 인공지능이 되어야 한다고 생각한다.  '인공지능 시스템' 은 사실 사람의 일에 많은 도움을
주는 것 부터 시작을 해야한다. 

TURING(튜링) 의 인공지능 상담 관리자 시스템은 사람을 대체하는것이 아닌, 인공지능이 사람을 돕는 방식이다.

튜링의 인공지능 시스템은 상담원이 상담자와 대화를 하며, Suggestion (제안, 의견) 을 인공지능이
실시간으로 해주며 Assistant (도움) 을 주는 역할을 해야한다고 생각했다. 
상대방 사용자(문의자)가 그동안 했던 주 된 '문의 내용' 그리고 '패턴' 실시간으로 
학습을 통해 배워왔던 수 많은 정보를 보여주며 도와주는 역할을 목표로 해야한다.

그것이 '인공지능' 을 제대로 개발해서 사용하는 로드맵 중 하나이지 않을까 싶다.

길고 긴 여정을 시작하는 '인공지능' 
그리고 길고 긴 글의 포스팅을 마치며

당장 내일 인공지능이 사람과 같은 친근한 느낌으로 (아니 어쩌면 사람보다 더 똑똑하다고 볼 수 있다.)
사용자에게 말을 걸고 수 많은 '올바른 데이터' 를 통해서 정보를 준다면 참 좋겠다.
하지만, 그러한 인공지능을 만들기 위해서 정확히 거쳐야할 '순서' 그리고 '로드맵' 이 있어야 한다.

기업들이 개발하려는 기초 인공지능인 '챗봇' 도 마찬가지다. 정확히 챗봇을 통해서
어떠한 데이터를 쌓고, 어떠한 형태의 인공지능 서비스 혹은 시스템으로 발전 시킬 것인지
로드맵을 잡아야 한다. 하루 아침에 데이터를 모두 갖춘 인공지능을 개발할 수 없다.
데이터를 하루 아침에 다 정제 할 수 없다. 

그러한 계획적인 로드맵을 가진 '인공지능' 을 
파트너로서 함께 개발하길 바란다.


인공지능 시스템 [튜링] 소개,문의 사이트 
https://beta.cloudturing.com/turingbot.html

다음에 또 관련 주제로 돌아오겠습니다.

Mike Choi