(칼럼) AI가 내린 결론, 왜 그런지 물을 권리
설명가능 AI(XAI)가 ‘신뢰’가 되는 순간
최근 다음과 같은 일상 사례들이 늘고 있습니다. 지원 서류가 탈락했는데 무엇을 고쳐야 하는지 감이 안 잡히고, 대출이 거절됐는데 이유를 모르겠고, 병원에서 ‘위험군’ 알림이 떴는데 왜 위험한지 설명은 없고.
우리는 이런 상황에서 본능적으로 이렇게 묻습니다.
"왜?”
이 질문에 답하지 못하는 AI는, 정확도가 아무리 높아도 결국에는 다양항 사회적 비용을 남깁니다. 예를 들어, 불복 민원, 규제 리스크, 브랜드 신뢰 하락, 내부 의사결정 마비…. 그래서 요즘 AI 업계의 핵심 키워드가 Explainable AI(XAI), ‘설명 가능성’으로 모입니다.
설명 가능성은 ‘기술’이기 전에 ‘커뮤니케이션’이다!
저는 커뮤니케이션 전공자이자, 데이터 분석과 마케팅 전략을 오래 담당했던 전문가로서 XAI를 이렇게 정의하고 싶습니다.
설명가능성은 AI의 ‘영수증’이다!
어떤 근거로 판단했는지, 무엇이 결정 사항에 크게 영향 줬는지, 결정 사항을 어디까지 믿어도 되는지(한계와 예외), 문제가 생기면 누가 어떻게 점검해야 하는지, 이 “영수증”이 있어야 조직은 책임 있게 의사결정을 하고, 소비자는 납득하거나 이의를 제기할 수 있다고 생각합니다.
왜 지금 설명가능성(XAI)가 더 중요해졌나? 법과 시장이 동시에 움직인다
지금 AI 관련해서는 “있으면 좋은 기능”이 아니라, 준비하지 않으면 곤란해지는 상황이 되어가고 있습니다. 한국은 ‘AI 기본법’ 체계가 본격 시행 단계로 들어가며 투명성·고영향 AI 등의 의무와 가이드라인 논의가 빠르게 진행 중입니다. EU AI Act도 고위험 AI에 ‘투명성/정보 제공’ 요구를 명시하고, 일반목적 AI(GPAI) 관련 Code of Practice 같은 준수 프레임을 구체화하고 있습니다.
또한, 국내에서 생성형 AI로 만든 온라인 광고·콘텐츠에 ‘AI 생성’임을 명시하도록 하는 표시 의무 제도가 2026년 시행을 목표로 추진되고 있습니다. 이는 광고가 AI에 의해 만들어졌다는 사실을 법적으로 드러내도록 함으로써, 설명과 투명성을 단순한 기술 문제가 아니라 법·제도·시장 질서의 핵심 원칙으로 끌어올리려는 흐름이라 할 수 있습니다.
설명가능성(XAI)는 ‘어떤 설명’을 말하는가? 3층 구조로 보면 쉽다!
일반적으로 현장에서 초기에 가장 많이 하는 실수는 “설명가능성 = 어려운 기술 설명”이라고 생각하는 것입니다. 하지만, 설명가능성(XAI)은 ‘어려운 기술 설명’이 아니라, ‘상황에 맞는 설명’을 해주는 것입니다. 같은 AI라도 누가 묻느냐에 따라 “설명서”가 달라져야 합니다.
1) A 은행 대출이 거절됐을 때 사용자 설명: “나한테는 딱 이거만 알려줘요”
사람이 원하는 설명은 논문이 아닙니다. “이번 대출이 어려웠던 이유는 최근 3개월 카드 연체 1회, 부채비율, 소득 대비 상환액이 기준을 넘었기 때문입니다.” “만약 연체 없이 6개월 유지하고, 월 상환액을 20만 원 낮추면 승인 가능성이 올라갑니다.”
여기서 중요한 포인트는, ① ‘무엇 때문에’(핵심 요인 2~3개), ② ‘그럼 어떻게 하면’(바뀌면 결과가 달라질 수 있는 행동 가이드), 이 두 가지입니다. 즉, 사용자에게 설명은 “네 점수는 몇 점”이 아니라 “왜 그런지 + 다음에 뭘 하면 좋을지” 입니다.
2) B: 채용 서류가 자동 탈락했을 때 사용자 설명
“탈락에 영향을 준 항목은 필수 자격요건(경력/자격증) 미충족 및 직무 키워드 부족입니다. 만약 이력서에 프로젝트 성과 수치(매출/전환율/비용절감)를 넣고, 공고의 직무 키워드 5개를 경험에 비추어 작성 반영하면 서류 통과 가능성이 높아집니다.” 이렇게 말해주면 납득이 되고 결과물에 대한 “개선”이 가능해지죠.
3) 운영자에 대한 설명: 고객이 전화해서 따질 때(콜센터·심사역)
운영업무 실무자(콜센터/심사역/현장 관리자 등)는 상황 및 대처 행동에 대해 더 많은 걸 알아야 합니다. 실무자가 필요한 설명은 이런 거죠. “이 고객은 A 요인을 크게 봤고, B는 영향이 작았습니다. 다만 이번 케이스는 예외 케이스에 해당되기에 관리자가 한 번 더 확인하는 게 좋습니다.”
이런 접근법이 사용자 관점의 XAI입니다. 고객에게 보여줄 ‘정답’이 아니라, 정답에 대한 설명과 함께 개선점을 제안해 주는 게 필요하죠.
하지만, 여기도 간과해서는 안 되는 주요 사항이 있습니다. 결과에 대한 설명은 ‘진실’이 아니라 ‘AI 모델이 어떻게 보이는지에 대한 표현’ 일 수 있다는 것입니다. 사후적으로 그럴듯한 이유를 붙여도, 실제 내부 작동과 어긋날 수 있고, 또한 같은 결과라도 설명 방식에 따라 이용자인 사람의 판단이 흔들릴 수 있습니다.
의료 분야에서 AI의 설명가능성(XAI)이 활발히 논의되는 이유도, 이 함정을 잘 알기 때문이라고 판단됩니다. 의료 XAI 연구들은 기법 소개뿐 아니라, 신뢰·책임·현장 적용의 어려움(인간 중심 평가)을 반복해서 지적합니다.
그래서 조직이 지금 당장 할 수 있는 ‘XAI 실전 로드맵’
제가 산업 현장에서 느낀 결론은 단순합니다. AI 설명가능성은 AI 모델 개발 팀만의 일이 아니라 ‘제품+리스크+커뮤니케이션’의 합작품이라고 생각하며, 단계 별로 자세히 들여다보면 다음과 같습니다.
① 어디에 AI가 개입하는지 먼저 지도(Map)로 그려보기 (고객 권리/안전/비용이 관여된 지점부터 파악하기)
② “누가” 설명을 요구하는지 정의하기 (고객·상담사·심사역·감사팀 각각의 요구가 다릅니다)
③ 설명 형식 선택하기 (기여도 - “무엇이 컸나”, 반사실(反事實) - “무엇을 바꾸면?”, 사례기반 - “비슷한 케이스는?”)
④ 설명의 품질을 ‘검증’하기 (설명이 일관되는지, 특정 집단에 불리하게 작동하지 않는지)
⑤ 운영 체계 만들기 (모델 카드/데이터 시트, 변경 이력, 모니터링까지 문서화 정리)
AI 시대의 경쟁력은 ‘정답’이 아니라 ‘납득’이다!
AI는 앞으로 더 많은 결정을 “추천”하고, 때로는 “대신”할 겁니다. 그때그때의 승부는 결과에 대한 결과 지표 한 줄이 아니라, 사람이 이해하고 이의를 제기할 수 있는 구조를 갖췄느냐에 달려 있습니다. 설명가능 AI(XAI)는 기술 유행어가 아니라, AI를 사회에 안전하게 붙이는 커뮤니케이션 인프라입니다. “왜?”라는 질문에 답할 준비가 된 조직만이, AI를 확장할 자격을 얻을 수 있습니다.
#설명가능AI #XAI #ExplainableAI #AI신뢰 #AI투명성 #AI기본법 #EUAIACT #모델거버넌스 #금융AI #의료AI