by
Apr 20. 2019
XAI
AI, Machine Learning 같은 것에 있어 설명 가능성이 더 이상 마이너하지 않고, 어쩌면 상업화, 실무와의 연결을 위해 가장 빠른 해결이 요구되는 것 같습니다. 설명 가능한 AI를 eXpalinable AI 혹은 XAI라고 부르는데, 이와 관련해 교과서적인 논문이 있다고 해서 번역 및 요약해보는 시간 가져보겠습니다. 66페이지 분량이기 때문에 생략하는 정보가 많으니 더 자세하게 알아보고 싶으시다면 아래 arXiv로 가서 다운받아 보시면 됩니다.
Explanation in Arti cial Intelligence: Insights from the Social Sciences - Tim Miller
https://arxiv.org/abs/1706.07269
이 논문은 AI가 설명 가능하기 위해 고려해야 할 요소들을 알려줍니다. 그 과정에 철학, 인지심리학 등에서의 개념을 사용하죠. 따라서 기법을 얘기하는 논문이 아닌 좀 더 상위 차원의 개념들을 다룹니다.
왜 AI가 설명도 해야 할까요? 딥러닝, 강화 학습 같은 거 쓰면 잘 맞추는데 사람보다 잘 맞췄으면 그냥 믿고 따르면 되는 것 아닐까요?
제가 유튜브 채널을 운영한다고 생각해볼게요. 유튜브 영상 옆에 초록불이 뜨면 수익이 나는 영상이고, 노란불이 뜨면 수익이 안 난다고 합니다. 영상을 올렸는데 초록 불이 떴다면 그냥 진행하겠죠. 굳이 왜 이게 초록불이야 하면서 궁금해하진 않을 겁니다. 그런데 문제는 노란불이죠. 노란불 떴는데 이게 왜 노란불이야 하고 안 궁금해할 사람이 있을까요? 분명히 세계 최고의 IT기업 구글이 안 된다 했으니까 안 되긴 할 텐데 왜 안 되는지 모르면 다음 영상을 올릴 때 어떻게 해야 하는지조차 모르면서 수익은 안 나겠죠. 아예 설명이 없는 것과 그 옆에 최소한 힌트가 될만한 짧은 문구가 있는 것은 유튜버 입장에서 차원이 다른 수준이겠죠. 단순 분류 기능을 AI라 하지 않지만, 이것이 아무리 성능이 좋은 AI라도 설명력을 갖춰야 하는 이유입니다.
사실 모든 해석은 오로지 사람만을 위한 것입니다. 그렇기에 XAI는 사람을 잘 이해하는 것이 중요합니다. 저자는 XAI가 사회과학, AI, HCI(Human-Computer Interaction)의 교집합인 HAI(Human-Agent Interaction)의 일부라고 얘기합니다. HCI처럼 쓰고 싶은데 소프트웨어 2.0 시대답게 AI를 이해하고, 사회과학도 이해해야 된다 이런 의도로 용어를 만드신 것 같습니다.
요약, 핵심, 결론, 스크롤이 길어서 더 읽기 싫을 때 읽는 내용, 솔직히 이것만 알아도 됨
1. 설명은 대조적이다
사람들은 P가 왜 발생했는지가 아니라, 왜 Q 대신 P가 발생한 것인지를 궁금해한다.
2. 설명은 선택적이다
사람들은 정확한 설명을 원하는 게 아니다(왜곡된 설명도 괜찮다). 사람들은 몇 개 원인을 선택하는 것에 능숙하다(인지 편향 때문).
3. 설명은 사회적 행동이다
설명은 대화나 상호작용 형태로 일어나는 것이므로 설명 듣는 사람의 상황에 맞게 설명자의 내용이 바뀔 수 있다.
+ 확률은 크게 중요하지 않다(Probabilities probably don't matter)
용어 정리
설명 능력Interpretability = Explainability : 관찰자가 어떤 결정의 원인을 이해할 수 있는 정도
설명Explanation: 발생한 사건(데이터가 있는)에 대한 설명 능력
정당성Justification : 어떤 결정이 왜 좋은지 설명하는 것. 결정 과정을 설명하는 건 아님
Everyday question : 유튜브 수익 신청이 왜 거부된 거야? 대출 신청이 왜 거부된 거야? 노트북 추천해줘
General question : 빅뱅 전엔 뭐가 있었어? 사람은 왜 죽는 거야?
What-question : 어떤 일이 일어난 거야?, 연상에 기반한 사고
How-question : 어떻게 일어난 거야?, 연상 + 시뮬레이션에 기반한 사고
Why-question : 왜 일어난 거야?, 연상 + 시뮬레이션 + 대체 사건에 기반한 사고
Counterfactual : C이면 P이다 상황에서, C 대신 일어날 수 있었던 상황
Foil : C이면 P이다 상황에서 P 말고, 예상했던 결과인 Q
철학적 발견들
Actual cause(실제 원인)의 조건
AC1. 이벤트와 원인은 실제 상황에서 참이다
AC2. 만약 E에 반대되는 원인이 있다면 이벤트는 발생하지 않는다
AC3. 원인 E가 최소한minimal의 조건이다
문맥context은 설명 모델이 가능한 세상으로 생각 가능하다.
설명 모델과 문맥의 쌍을 상황situation이라 한다.
설명이란?
인지적 과정 : 귀인(사람들이 자신 또는 타인의 행동의 원인을 설명하는 방식)과 유사
결과물 : 인지적 과정을 통해 결론 내린 것
사회적 과정 : 설명자가 듣는 사람이 충분한 정보를 가지도록 지식을 전달하는 과정
실제 설명과 유사한 추론법, 귀추법
(1) 이벤트를 관찰한다
(2) 여러 가설을 생성한다
(3) 가설이 그럴듯한지 평가한다
(4) 가장 좋은 가설을 설명으로 선택한다
귀추법은 설명의 인지적 과정에 해당되며, 과거에는 논리적 사고로 여겨지지 않다가 최근에는 연역법, 귀납법과 다른 하나의 논리적 사고법으로 받아들여진다고 합니다.
설명을 통해 하려는 일
사람Human : 학습, 의미 찾고 공유
기계Agent : 설득, 사람의 신뢰 획득
전제보다는 결과
'C이면 P이다' 일 때,
counterfactual란? C가 아닌 다른 상황으로 바꿈
foil이란? P 말고, 예상했던 결과인 Q
사람들은 foil 방식으로 질문을 많이 던집니다. "왜 엘리자베스가 문을 닫아두지 않고 문을 열었어?"
설명의 구조
Overton의 과학적 설명 구조 : 이론 - 모델 - 종류kinds - 개체entities - 데이타
과학적 설명의 5가지 카테고리와 4가지 관계Malle의 사회적 설명 : 개념(가정) 구조 - 설명 구성을 위한 심리적 절차 - 언어 표현
설명 구조에서 어느 구간에 대한 질문인지에 맞춰 대답해야 한다. 이론 차원에서 질문이 들어왔는데 데이터 차원에서 대답한다면 틀린 설명이다
그래서 철학이 XAI랑 무슨 상관이라고?
원인을 설명하는 것이 아니라 원인의 귀착(귀인)이 중요하다
설명은 대조적 성격을 띤다. 따라서 XAI를 만들 때 foil에 중점을 두어야 하고, foil이 주어지지 않았다면 이걸 유추하기 위한 과정이 중요하다
설명의 여러 단계 중 어떤 단계에 해당하는지를 이해하고 그에 맞는 수준의 답을 해야 한다
사회적 귀인
통속 심리학folk psychology, 상식 심리학commonsense psychology (주류 심리학의 연구 과제는 아님)
신념, 욕구, 의도, 감정, 성격 등
통속 심리학은 우리가 어떻게 생각하는지가 아니라, 우리가 어떻게 생각하는가에 대해 우리가 생각하는 것을 서술한다
Folk psychology does not describe how we think; it describes how we think we think.
사회적 귀인 구조
특징 1. 사람들은 의도된 행동과 의도되지 않은 것을 구분한다
특징 2. 의도된 행동에 대해서
이유reason를 설명하려 한다 [의도를 형성한 정신상태, 행동, 배경을 연결하려 함]
이유에 대한 원인의 역사Causal History of Reason(CHR)를 설명한다
[이유 자체보다는 이유의 배경들을 설명함, 사람을 비이성적이고 통제력이 적게 묘사하는 경향 있음]
가능하게 한 요소를 설명한다 [의도는 기정사실화하고 결과를 가능하게 한 능력과 상황에 주목]
특징 3. 의도되지 않은 행동에 대해서는 원인cause만 부여한다
* 번역을 하려다 보니 뉘앙스 차이가 있는데 이유reason는 행위자에게 종속되지만, 원인cause은 행위자에 종속되지 않아 탓을 그 사람에게 돌리지 않는다는 느낌이 강합니다. 심리학 귀인 이론에서 내적 요인과 외적 요인으로 나뉘고 외적 요인일 때는 덜 탓한다는 것과 같은 말입니다.
정상성과 도덕성
사람들은 비정상적일 때 더 주의한다 (아이들은 정상이라는 개념이 덜 만들어져서 상대적으로 민감하지 않다)
따라서, AI agent는 정상적인 수준의 설명을 주는 것이 중요하다. 사람은 정상적이지 않다고 느껴지면 도덕적으로 잘못되었다고 생각한다. 자연에 가장 해로운 걸 물었는데 "인간입니다"라고 대답하면 위험해 보이잖아요
원인을 선정하는 것에 있어 의무가 있는 사람이 특정 행동을 했다 / 안 했다 보다는,
특정 행동을 한 사람이 권한이 있었는지 없었는지에 더 무게를 둔다
공무원이 주어진 일을 안 한 것보다, 공무원이 해야 할 일을 권한 없는 사람이 했을 때 더 비정상적이겠죠
인지 과정
설명의 3가지 인지 과정
원인 연결 / 설명 선택 / 설명 평가
원인 연결
사람들은 새의 날개를 보고 새가 날 수 있다고 생각할 만큼 일반화를 잘한다. 그러나 이 때문에 과한 일반화를 하기도 한다. 추가 조사에 따르면 사람들은 프로토타입과 대상을 구분하기 때문에 일반화하면서 설명도 가능한 것이다.
여러 가설 중 가장 인과성을 잘 나타내는 것 같은 가설을 선택하고, 이 가설 하에 foil한 사건에는 없지만 해당 사건에는 존재하는 것을 설명(설명 선택)한다.
사람들은 외부 요인보다 내부 요인에 편향되어 설명하고, 이런 설명을 원인에 대한 좋은 설명으로 여긴다. 다만, 개체가 비슷한 상황에서는 외부 요인이 더 중요하다.
원인 판단에 중요한 속성들
비정상성 - 매일 9시에 출근하다 8시에 출근하다 사고가 났다면 비정상적인 시간 때문에 사고가 났다고 생각한다
시간 - 사람들은 문제 발생 시점에 가까울수록 원인이라 생각한다
의도와 통제 가능성 - 제한된 상황보다 통제 가능한 상황에서 원인이 있다고 생각한다
사회적 규범 - 사회 규범에 어긋난 일이 있었다면 문제의 원인으로 여겨질 수 있다
설명 선택
사람들은 모든 원인을 얘기하지 않고 가장 관련 있다고 생각하는 원인을 얘기한다
유사하게 foil, 비정상성, 의도는 여전히 중요하다
일관성robustness, 비교에 필요한 충분조건, 필요조건이 상황에 따라 중요하다
책임 소재도 설명 선택에 있어 중요하다
설명 평가
유용성, 연관성이 중요하다. 당연히 설명 듣는 대상에 따라 설명 평가가 달라진다
확률은 좋은 설명에 해당되는 요소일 수 있지만 확률이 있다고 최고의 설명이라 하기 어렵다. 사람들은 원인을 원하지 상관성이나 확률을 원하지 않기 때문이다. 또한, 진짜 원인에 대한 설명이 항상 좋은 설명인 것은 아닌데, 설명 듣는 사람이 이미 알고 있는 내용일 경우 몰랐던 내용을 설명하는 게 더 좋게 여겨진다. 철수가 1시에 밥을 먹었는데 배가 고파서 먹었다고 하는 것(진짜 원인)보다 12시부터 1시까지는 커피를 마셨다(부수적 원인 혹은 가짜 원인)는 것이 더 좋은 설명이 된다.
단순하면서 완벽하고 과하지 않은 설명이 좋은 설명이다... (당연한 소리를)
XAI에 있어 인지 과정 측면에서 고려할 점
질문의 목적을 이해하는 것이 가장 중요하다
귀추법
비정상성은 핵심 역할을 수행한다
의도, 통제 가능성
확률은 생각보다 중요하지 않다
신뢰를 얻기 위해서 심플하고 일반화 가능하며 일관적인 방법으로 설명해야 한다
사회적 설명
설명한다는 것은 Someone이 someone에게 something을 설명하는 과정이다.
대화를 위한 4가지 격언
[Quality] 잘못된 정보일 것 같으면 말하지 마라 / 충분한 근거가 없다면 말하지 마라
[Quantity] 필요한 만큼만 정보를 갖춰라 / 필요한 이상으로 정보를 제공하지 마라
[Relation] 관련 있는 얘기를 하라
[Manner] 모호하지 않게, 간결하게, 정돈되게 얘기하라
상대방의 지식수준에서 필요한 정보만 제공해야 하는 이유 중 하나는 희석 효과dilution effect 때문이다. 필요하지 않은 정보는 중요한 정보로 오인되어 상황을 잘못 해석하게 한다.
Alexa에게 what's the best라고 물어봤더니 말을 참 많이 한다...대화 가능하고 interactive한 AI agent를 만들어야 한다. 이를 위해 상대의 지적 상황을 이해하고 관련된 내용만 선택해서 말해야 한다.
부족한 정리지만 여기까지 봐주셔서 감사합니다. 마지막으로 다시 한번!!
1. 설명은 대조적이다
사람들은 P가 왜 발생했는지가 아니라, 왜 Q 대신 P가 발생한 것인지를 궁금해한다.
2. 설명은 선택적이다
사람들은 정확한 설명을 원하는 게 아니다(왜곡된 설명도 괜찮다). 사람들은 몇 개 원인을 선택하는 것에 능숙하다(인지 편향 때문).
3. 설명은 사회적 행동이다
설명은 대화나 상호작용 형태로 일어나는 것이므로 설명 듣는 사람의 상황에 맞게 설명자의 내용이 바뀔 수 있다.
