인공지능을 발전시키는 빅데이터 활용 방법이 있다.
#코로나바이러스 #데이터 시각화 #의사결정 #인공지능
인공지능을 발전시키는 빅데이터 활용 방법이 있다.
인공지능은 데이터를 학습하면 할수록 똑똑해진다. 인공지능을 연구하고 개발하려고 하는 회사들은 빅데이터에 주목하고 있다. 흘려 지나가는 데이터를 어떤 관점으로 바라보느냐에 따라 귀중한 자원이 될 수 있기 때문이다. 국내 빅데이터 전문가 송길영은 “사람이 남긴 흔적에서 사람의 마음을 캐는 일”을 하는 사람이라는 뜻에서 “Mind Miner”라고 스스로를 소개한다. 빅데이터라는 광산에서 사람들의 마음을 캐는 광부라는 것이다. 사람들이 매일하는 SNS의 대화 속에서 시대의 변화를 읽고, 새로운 기회와 신 사업을 발굴한다. 이것이 “우리가 빅데이터를 주목해야 하는 이유”라고 말한다.
#데이터는 코로나바이러스 대유행을 알고 있었다.
2020년 1월 인공지능 스타트업 '블루닷BlueDot'이 미국 언론과 주요 외신들로부터 주목받았다. 캐나다 기업인 블루닷은 세계보건기구WHO나 미국 질병통제예방센터CDC보다 먼저 중국 우한 지역의 코로나 바이러스를 예측하고 경고했다. 창업자이자 의사인 캄란 칸Kamran Khan 박사는 “2003년에 바이러스가 도시를 압도하고 병원을 무력화하는 것을 지켜봤으며 전염병 추적 및 대응을 위해 더 나은 방법이 필요하다고 느꼈다” 블루닷은 의사 및 프로그래머 40여명으로 구성되어 있다, 의료 전문 지식과 데이터 분석 및 인공지능 기술을 적극 활용하여 전염병을 예측했다. 감염된 사람들의 경로를 파악하기 위해 블루닷은 항공 발권 데이터를 분석했으며, 중국 우한에서 방콕, 서울, 대만, 도쿄로 코로나바이러스가 퍼져나갈 것을 예측했다.
출처 : 블루닷
블루닷의 예측을 보며 국내 의료AI기업 한 연구원은 “데이터가 기술을 앞서는 시대를 보여주는 사례가 아닌가 하는 생각도 들었고, 대규모 감염병은 결국 조기 경보가 생명인데 미래를 내다보는 수준은 아니더라도 정보를 다각도로 활용하는 아이디어가 앞으로 경쟁적으로 나올 것”이다.
#빅데이터를 활용하는 3단계 방법
1단계는 빅데이터를 보기 좋게 시각화하는 것이다. 수 많은 데이터를 의미있는 데이터로 설득하기 위해서는 빅데이터 시각화Visualization 기술이 중요하다. 데이터를 시각화하면 데이터를 분석하면서 고민한 과정을 사람들에게 알기 쉽게 설명할 수 있다. 간단한 예로는 워드 클라우드가 있다. 워드 클라우드(http://wordcloud.kr/) 사이트에 접속하면 누구나 간단히 내가 원하는 시각화 자료를 만들 수 있다.
워드 클라우드인포그래픽Infographics은 Information + graphics 의 합성어로 데이터가 가지고 있는 정보를 그래픽화해서 보기 쉽게 이미지로 제공한다. 인포그래픽의 경우에는 분석이 끝난 후의 분석 결과를 시각적으로 표현 한 것이다. 백의의 천사 나이팅게일은 크림전쟁에서 전투로 인해 죽는 사람보다 병원의 열악한 위생상태로 인해 죽는 사람이 더 많다는 것을 알았다. 병실 위생의 중요성을 설득하기 위해 인포그래픽을 만들었다. 나이팅게일은 중첩 막대그래프와 원그래프를 합한 이중 그래프를 만들었다. 모양 때문에 장미 그래프라고도 한다. 빨간 부분이 전투 사망자, 파란 부분이 전염병 사망자, 검정 부분이 기타 원인으로 사망한 사망자이다. 시각적으로 전염병 사망자의 비율이 높다는 것을 알 수 있다.
나이팅게일의 포토그래픽요즘에는 빅데이터 시각화가 이슈가 되면서 프로그래밍 언어인 파이썬Python에서 데이터 시각화 툴을 제공하고 있다. 가장 많이 사용하는 맷플롯립Matplotlib 라이브러리를 이용하여 그래프를 그리고 있다. 앞으로는 모든 사람이 엑셀Exel이 아닌 파이썬Python을 사용해야 할 것이다.
출처 : Seaborn 홈페이지
2단계는 전문가가 의사결정을 할 수 있도록 도움을 주는 것이다. 전문가 시스템은 의학, 금융, 법률과 같은 각 분야의 전문가들이 자신의 노하우가 담긴 데이터를 지식 구조에 맞게 정리한다. 전문가의 정리된 데이터를 기반으로 인공지능을 훈련시킨다. 훈련된 인공지능은 전문가의 의사결정을 돕는 데 다시 활용되고 이런 반복 학습으로 인공지능의 전문성은 더욱 향상된다. 이것이 빅데이터가 전문가 시스템에 기여하는 방식이다.
인공지능(AI) 의사 '왓슨'은 최신 의학 논문과 의료정보를 전부 학습하였고 암 진단에 있어서도 인간 의사보다 정확한 진단률을 자랑했다. 가장 먼저 도입한 인천 길병원에서는 암 환자의 발걸음을 한국 5대 병원에서 길병원으로 돌리는데 의사 ‘왓슨’이 큰 역할을 했다. 그런데, 기대와 달리 한국인의 특성이 제대로 반영되지 않았다. 실제 진료시 치료법에 있어서도 인간 의사와의 의견 불일치가 많았다. 아무리 잘 만들어진 인공지능도 빅 데이터를 통한 학습 없이는 '앙꼬없는 찐빵'이었다. ‘왓슨’을 보면 인공지능 이전에 빅 데이터가 중요한 이유가 보인다.
마지막 3단계는 인공지능에 입력해서 결론을 도출하는 것이다. 소셜미디어서비스SNS에서 단순히 주고받는 수많은 메시지를 머신 러닝이 학습한다. 그러다가, 가족이나 친구와 주고받는 메시지를 통해 치매 징후를 발견하는 것이다. 빅데이터와 인공지능을 활용하여 치매를 미리 진단하고 치매 환자의 치료법 개발도 연구한다. “누구나 치매 환자를 간병해야 하는 시대가 곧 옵니다.” 머신 러닝은 마치 달리는 증기 기관차에 계속해서 석탄을 넣듯이 데이터를 에이전트에 입력해서 학습시킨다. 머신 러닝에서 빅데이터는 천연 자원이 된다.
“등잔 밑이 어둡다“라는 속담이 있다. 정말 중요한 정보인데 인간의 눈에는 보이지 않는 데이터를 찾아내는 게 빅데이터의 힘이다. 요즘 공공데이터에 대한 중요성이 부각되고 있어 정부는 공공데이터 포털서비스를 운영하고 있다. 인구 통계, 산업 구조, 교통 정보, 경제 수치와 같은 데이터를 통합한다. 그로인해 행정 서비스를 강화하고 여러 정책 입안에 활용한다. 인공지능을 최대한 활용하려면 양질의 데이터가 필수이다. 곧 데이터가 자산이다.
미래 인공지능 사회가 오면 가장 핫Hot한 직업이 바로 데이터 분석가Data Scientist이다. 인공지능을 잘 학습시키는 기술보다 어떻게 학습시킬 것인가?가 더 중요하다는 의미이다. 3차 혁명 시대에는 잘 배우는 학생이 중요했다면, 4차 산업혁명 시대에는 잘 가르치는 선생님이 중요해진 것이다. 잘 가르치기 위한 재료가 바로 빅데이터이다. 사람들은 인공지능은 중요하다고 생각하면서 데이터의 중요성은 간과한다. 우리가 매일 남기는 수다들이 수 많은 데이터가 되고 시대 흐름이 되고 새로운 기회가 되고 있다. 진주를 품은 조개를 발견하고자 하는 마음으로 빅 데이터를 바라봐야 한다.
