기술적 특이점 - (AI 윤리 위원회) 3
3. AI의 투명성과 설명 가능성(Explainability)
3. 투명성과 설명 가능성: 인간의 신뢰를 위한 기술의 조건
배경
AI가 점점 더 사람의 삶을 결정짓는 판단 기제로 사용되면서, 우리는 AI의 신뢰성과 책임성에 대해 더욱 엄밀하게 묻지 않을 수 없습니다. 그러나 오늘날 대부분의 AI, 특히 딥러닝 기반 시스템은 **‘블랙박스 모델(black box model)’**로 작동하기 때문에, 그 판단의 논리와 근거를 사람은 쉽게 이해할 수 없습니다.
이 문제는 단순한 기술 설명의 문제가 아니라, 개인의 권리, 공정성, 책임 분배, 사회적 신뢰에 직접적으로 연결되는 윤리적 핵심 사안입니다.
예시: AI 기반 대출 심사 시스템의 불투명성
상황 설명
한 은행은 고객의 대출 신청을 자동으로 처리하기 위해 AI 시스템을 도입했습니다. 이 시스템은 수천만 건의 과거 신용 거래 데이터를 바탕으로 신용 위험도를 예측하여, ‘대출 승인 여부’를 자동으로 판단합니다.
A라는 고객은 정규직 근로자로서 연체 이력이 없음에도 불구하고, **“AI 판단에 따라 대출이 거부되었다”**는 통보만 받았습니다. 하지만 왜 거부되었는지, 어떤 요소가 위험으로 간주되었는지에 대한 설명은 제공되지 않았습니다.
딜레마: 이유 없는 결정은 신뢰를 만들 수 없다
• 대출, 취업, 보험, 법률, 형량, 교육 등 인간 삶에 중대한 영향을 주는 영역에서 AI가 판단을 내리는 경우,
• 그 판단의 “근거”와 “논리”가 설명되지 않으면, 당사자는 이의를 제기하거나 정당성을 확인할 기회조차 갖지 못합니다.
• 이는 기술적 효율성이 도덕적 정당성을 침해하는 사례이며, 특히 권리를 침해받은 개인의 보호 메커니즘이 사라지는 결과를 낳습니다.
기술적 구조: 왜 설명이 어려운가?
요소 설명
딥러닝 구조의 복잡성 수백만 개의 연결 뉴런과 층(layer)이 있는 심층신경망은 사람이 직관적으로 이해하기 어려운 방식으로 작동함.
특성 추출 방식의 모호성 AI는 ‘중요하다’고 판단한 입력 요소들(예: 사용자의 위치, 브라우저 정보 등)을 명확하게 구분하지 않음.
상관관계 vs 인과관계의 혼용 인간은 ‘왜’를 묻지만, AI는 ‘무엇이 예측 정확도를 높이는가’를 판단하기 때문에 결과와 원인의 구분이 모호함.
사회적·윤리적 영향
1. 불공정성 인식
• 설명이 없을 경우, 사람들은 차별받았다고 느끼고, 사회 제도에 대한 신뢰를 상실하게 됩니다.
• 예: 대출 거부가 실제로는 성별, 나이, 지역, 출신 대학 등의 비공식 요인에 의해 결정되었을 수도 있음.
2. 정보 권리 침해
• 자신에 대한 판단 이유를 알 권리, 정정 요청권, 이의 신청권 등이 실질적으로 봉쇄됨.
3. 책임 회피 구조 조성
• “AI가 그렇게 판단했다”는 설명은 사실상 책임을 회피하거나 전가하는 방식으로 사용될 수 있음.
설명 가능한 AI(Explainable AI, XAI)의 필요성
XAI의 목표는 단순한 기술 해명이 아니라 도덕적·사회적 신뢰 회복입니다.
AI의 결정이 다음의 조건을 만족해야 사회적으로 수용 가능합니다:
조건 설명
이해 가능성(Understandability) 일반 사용자도 AI가 어떤 방식으로 결정을 내렸는지 이해할 수 있어야 함
설명 가능성(Explainability) 결정의 근거, 사용된 정보, 가중치 등의 요인을 명시할 수 있어야 함
투명성(Transparency) AI 알고리즘의 구조와 기준이 기업 내부 또는 외부 윤리 기관에 의해 감시 가능해야 함
검토 가능성(Contestability) 사용자가 이의를 제기하고, 인간이 재심사할 수 있는 절차가 마련되어야 함
현재 사용되는 XAI 기술 예시:
• LIME: 예측 결과에 영향을 준 주요 변수들을 인간이 이해할 수 있는 방식으로 시각화
• SHAP: 각 입력이 결과에 얼마나 기여했는지를 수치화하여 설명
국제 AI 윤리 선언들과의 연결
바티칸 『Rome Call for AI Ethics』:
“AI는 그 판단의 기준과 과정을 설명할 수 있어야 하며, 불투명한 자동화는 인간의 권리를 침해할 수 있다.”
— Rome Call, 투명성과 포용성 조항
• AI가 인간을 판단하는 시스템일수록, 그 판단은 이해 가능한 언어로 설명되어야 한다는 원칙을 강조합니다.
유네스코 『AI 윤리 권고안』:
“설명 가능성은 민주주의와 인권의 핵심이다.”
— UNESCO, 2021
• 시민은 AI로부터 영향을 받는 결정에 대해 정보 접근권과 설명 요구권을 가져야 하며, 기업은 이에 응할 법적·윤리적 의무를 갖는다고 규정합니다.
신학적 성찰: 설명 없는 판단은 인간 존엄에 반한다
가톨릭 전통은 인간의 이성과 이해 능력, 그리고 양심에 따른 자유로운 판단을 중시합니다. 인간은 단지 결과를 받아들이는 존재가 아니라, 이유를 알고 책임 있게 응답할 수 있는 존재이기 때문입니다.
“인간은 진리를 알 수 있고, 그것에 응답할 책임이 있다.”
— 『가톨릭 교회 교리서』(CCC) 1706항
• AI가 인간에게 영향을 미치는 결정을 내릴 때, 그 결정이 이해 가능하고 응답 가능한 구조로 제공되지 않는다면,
• 그것은 인간의 이해 능력과 도덕적 주체성을 부정하는 것이며, 결국 인간 존엄성을 침해하는 기술 사용이 됩니다.
정리
항목 내용 요약
문제 AI의 판단 기준과 과정이 블랙박스처럼 숨겨져 있음
사례 대출 거부, 취업 탈락, 신용 평가 등에서 이유를 알 수 없음
윤리적 위험 권리 침해, 신뢰 상실, 책임 회피
필요 대응 설명 가능한 AI 개발(XAI), 법적 설명 의무, 인간 재심 권한 보장
신학적 시사점 인간은 단지 판단의 대상이 아니라, 이유를 들을 권리를 가진 존재
1. 프란치스코 교황의 가르침: 기술은 인간을 위한 것이어야 한다
프란치스코 교황은 『찬미받으소서』(Laudato Si’)와 『Fratelli Tutti』 등에서 지속적으로 강조합니다.
기술은 인간을 위한 수단이지, 인간을 평가하거나 지배하는 도구가 되어서는 안 됩니다.
“기술이 가진 엄청난 가능성은 인간을 더 존엄하게, 더 자유롭게, 더 의미 있는 존재로 만들도록 쓰여야 합니다. 그러나 그것이 오히려 인간을 ‘불투명하게’ 만들고, 그의 행동과 선택이 이해 불가능한 시스템에 의해 결정된다면, 이는 인간의 존엄에 대한 심각한 도전입니다.”
— 프란치스코 교황, Fratelli Tutti, 2020
적용:
AI가 대출, 취업, 복지 심사 등 인간 삶의 경계에 개입하면서,
그 결정 이유가 숨겨져 있다면, 인간은 자신의 행동을 성찰하거나 변화시킬 기회조차 박탈당합니다.
이는 단지 설명의 문제가 아니라, 인간 존재의 도덕적 자기결정권과 직결됩니다.
2. 『Rome Call for AI Ethics』: 인간 중심, 투명성, 설명 가능성
바티칸 과학원과 국제기구들이 공동으로 발표한 『Rome Call for AI Ethics』(2020)는
AI 기술 개발과 활용의 6대 핵심 원칙 중 하나로 **“투명성”과 “설명 가능성”**을 강조합니다.
주요 문구:
“AI 시스템은 인간이 그것의 작동 방식을 이해할 수 있는 방식으로 개발되어야 한다. 판단의 결과는 설명될 수 있어야 하며, 그 결정은 추적 가능하고 검증 가능해야 한다.”
— Rome Call for AI Ethics, Principle of Transparency
적용:
이는 AI가 판단을 내리는 과정에서 인간의 이해와 참여 가능성을 확보하라는 요구입니다.
‘이유를 알 수 없는 판단’은 신뢰를 무너뜨리고, 정치적·경제적 소외를 심화시킬 수 있습니다.
예컨대 금융거래에서 대출 거부 이유를 모른다면, 사회적 이동성 자체가 차단될 수 있습니다.
3. UNESCO 『AI 윤리 권고안』(2021): 설명 책임은 인간에게 있다
유네스코의 AI 윤리 가이드라인은, “AI의 설명 가능성”을 인권의 한 부분으로 간주합니다.
AI의 결정이 인간에게 심대한 영향을 미친다면, 그 이유를 설명할 책임은 AI가 아닌 인간에게 있다고 명시합니다.
핵심 내용:
• “모든 사람은 AI에 의해 내려진 결정에 대해 그 이유를 설명받을 권리가 있다.”
• “설명을 받을 수 없는 구조는 권리의 실현을 막으며, 차별의 가능성을 높인다.”
• “XAI는 단지 기술이 아니라 책임 윤리의 구조이다.”
적용:
설명 책임의 주체는 단순히 기술적 장치가 아니라,
AI를 설계하고 운영하는 인간과 조직이어야 한다는 인식을 강하게 드러냅니다.
4. 노동 윤리 관점: 인간을 평가하는 기술은 인간 중심의 피드백 구조를 가져야 한다
현대 사회에서 AI는 고용 여부, 생산성 평가, 업무 배치에까지 영향을 미치고 있습니다.
이는 곧 노동자의 삶과 인간다운 노동(Decent Work)의 기준에 직접적인 영향을 줍니다.
노동윤리의 기본 원리:
• 노동자는 존엄한 피평가자로서 판단의 기준과 결과를 이해하고 대응할 수 있어야 함.
• 불투명한 AI 판단은 노동자를 비인격화된 통계 객체로 취급하며, 노동의 주체성과 권리를 침해함.
적용 사례:
• 대기업에서 AI를 활용한 이직 예측 모델이 도입되었을 때, 근로자는 “왜 내가 위험군인지”에 대한 설명을 받지 못함.
• 이는 부당한 평가에 대한 반박권을 실질적으로 박탈하며, ‘기계가 결정한 것’이므로 항의도 무의미하다는 구조로 이어짐.
5. 가톨릭 사회교리와 설명 가능성의 윤리
가톨릭 사회교리는 다음의 가치를 강조합니다:
가치 설명
인간 존엄성 AI는 인간의 존엄을 보호하고 고양하는 방식으로 사용되어야 함
공동선 AI는 소수의 이익이 아니라, 모두를 위한 정의롭고 투명한 시스템이어야 함
보조성 원칙 AI가 인간의 역할을 대체하기보다는 보완해야 하며, 인간의 선택권과 판단력을 존중해야 함
“인간은 그 자신의 운명을 이해하고 선택할 수 있는 존재이다.
기술이 이 역할을 침식할 때, 우리는 기술이 아니라 윤리를 재정립해야 한다.”
— 『Compendium of the Social Doctrine of the Church』, §160
정리
확장 영역 핵심 내용
프란치스코 교황 기술은 인간의 이해 능력과 도덕적 주체성을 존중해야 함
Rome Call for AI Ethics AI는 투명하고 추적 가능해야 하며, 설명할 수 있어야 함
UNESCO AI 권고안 설명받을 권리는 인권이며, 설명 책임은 인간에게 있음
노동 윤리 불투명한 AI는 노동자의 권리와 주체성을 위협함
가톨릭 사회교리 인간 존엄성, 공동선, 보조성 원칙은 AI 기술의 윤리적 경계선
