자동차가 알아서 결정한 일도 설명할 수 있어야 한다.

5-05 판단의 근거를 모르면 믿고 맡길 수 없다.

운전을 하는 과정은 수많은 결정들의 반복이다. 목적지까지 어떤 경로로 갈지, 어떤 차선으로 이동해야 하고, 속도를 줄이고 멈추어야 하는지를 주변 상황을 보면서 판단해야 한다. 자율주행 자동차에서는 이런 결정들을 인공지능이 운전자를 대신해서 판단한다. 버스나 기차처럼 알아서 하겠거니 맡겨 버릴 수도 있지만, 오랜 시간 동안 핸들을 잡고 직접 그 결정을 해 왔던 운전자 입장에서 나라면 다르게 반응했을 텐데라고 느껴지는 순간들이 많아질수록 시스템에 대한 불신이 늘어날 수밖에 없다.  

이런 상황을 해결하기 위해서는 자동차가 알아서 판단한 이유를 정확하게 설명할 수 있어야 한다. 단순히 주어진 문제에 해결책을 제시하는 것뿐 아니라 판단의 근거와 과정을 설명할 수 있는 인공지능, X-AI (eXplainable Artificial Intelligence)가 필요한 이유다. 미국의 방위 고등연구계획국(DARPA)에서 처음 시작된 X-AI에 대한 연구는 국방, 자율주행, 금융, 의료와 같이 결정에 따른 파급 효과가 큰 분야에서 시스템의 신뢰도를 쌓기 위한 노력에서 출발했다.

 

X-AI의 설명 방식과 필요한 분야 - 조선일보 기사 참조

기존의 AI에서는 데이터를 통해 학습을 하고 결과만을 추출해 주기 때문에 사용자의 입장이 수동적일 수밖에 없다. 그에 비해 X-AI는 스스로 추론해 낸 과정을 모델화 하고 이를 설명해 주기 때문에 사용자 입장에서도 결과에 대해 이해가 쉽고, 오류가 났을 때 수정도 용이하다. 주로 어떤 1) 데이터를 베이스로 어떤 2) 변수들을 기준으로 삼아 무엇을 최우선으로 하는 3) 알고리즘으로 최종 결론에 도달했는지를 설명해 준다.   

기존 AI보다 간결히 설명하는 모델과 이를 설명하는 인터페이스가 추가되었다.

자동차 내 X-AI가 학습을 통해 결과를 도출해 주면, 운전자는 인터페이스를 통해 그 결정 사안을 파악한다. 그리고 믿고 맡기든지 개입해서 조정하든 스스로의 판단에 따라 이동할 수 있다. AI와 운전자 서로 누가 운전대를 잡겠다고 경쟁할 필요 없이 우리의 이동을 안전하고 편하게 해 줄 도구로서 활용하기 위해서는 서로를 이해하는 것이 중요하다. 백지장도 맞들면 나은 법이다.