by
Aug 03. 2021
인공지능은 어떻게 판단을 할까? 다르파 XAI 프로젝트
[야만인] 인공지능 발전의 뒷이야기
대출을 받기 위해 은행에 갔습니다.
하지만 대출 부적격자여서 대출을 받을 수 없다는 대답을 듣게 되었죠.
그 이유를 물어보니
AI의 판단이 그렇다는 말뿐
근거를 명확히 알려주지 않는
납득할 수 없는 상황이 펼쳐집니다.
이렇게 현재 AI는 명확한 근거를 설명할 수 없는
'블랙박스 Blackbox' 문제를 가지고 있습니다.
하지만 최근 AI를 금융·의료기관 등에서 사용하기 시작하면서
AI가 적용된 시스템을 신뢰하기 위해
블랙박스 안에 숨겨진 내용을 파악할 필요성이 생겼죠.
그렇게 AI가 어떤 근거로 결론을 냈는지를 알기 어려운 그 블랙박스를 열어보고자 하는
XAI(eXplainable AI)에 대한 관심이 높아졌습니다.
XAI란 우리말로 풀면 '설명 가능한 인공지능'으로서
인공지능 모델이 결론을 내리기까지
어떤 근거로 의사결정을 내렸는지를 알 수 있게 해주는 기술입니다.
사용자는 이 기술을 통해
기존 인공지능에서 알 수 없었던 6가지 질문에 대한 답을
할 수 있게 된답니다.
<XAI 질문 리스트>
왜 이런 결론을 냈는가?
다른 것은 왜 안되는가?
어떻게 성공한 것인가?
어떻게 실패한 것인가?
결과를 신뢰해도 되는가?
에러를 어떻게 수정해야 하는가?
이러한 XAI 기술 연구는 그동안 여러 시도가 있었지만
2016년 특정 기관에 의해 본격적으로 시작되었습니다.
미국의 다르파 DARPA 가 그 주인공이죠.
다르파 DARPA 는 미국 국방부 소속의 군사 기술 연구 개발 기관으로서
구 소련의 인류 최초 인공위성인 스푸트니크 Sputnik 1호 발사에 충격을 받아
1958년 경쟁 국가의 군사 관련 기술적 기습을 막기 위해 설립되었습니다.
실현 가능한 것보다는 불가능에 가까운 기술에 도전하는 데에 지원을 아끼지 않는 다르파는
최초의 인터넷인 아르파넷 ARPAnet 과 GPS(Global Positioning System) 등
큰 파급력이 지닌 기술을 개발해왔죠.
이러한 다르파에서 2016년 XAI 프로젝트가 등장합니다.
이 프로젝트의 목표는
인공지능을 설명할 수 있게 만드는 기술을 만들어
많은 모델에 적용할 수 있도록 하는 것입니다.
다르파의 XAI 프로젝트 과정에서 AI 이미지 인식 시스템을 개발하던 중
늑대 wolf 인지 아닌지 판단할 때
늑대 자체의 특징이 아닌 이미지의 배경이 눈 snow 인지 아닌지에 따라 결정된다는 것을 XAI로 발견했고,
이러한 잘못된 근거를 정정하기도 했답니다.
XAI 프로젝트 성공 여부에 대한 데이터 과학자들의 의견은 분분합니다.
AI가 결론을 내리는 과정을 명확하게 설명할 수 있게 될 것이라는 입장이 있는 반면,
데이터가 쌓여 발전되는 AI인 만큼 AI의 결론에 대한 모든 과정을 설명하기는 어려울 것이라는 입장도 있죠.
과연 이 프로젝트는 어떤 방향으로 흘러갈지 기대가 됩니다.
