AI 블랙박스 문제 해결하는데 반드시 필요한 기술
XAI(설명 가능한 인공지능)
GPT-4o, 제미나이 등 인공지능이 기하급수적으로 발전하며 생긴 문제점과 앞으로 예상되는 문제점들이 있습니다. 앞선 글에서 ‘인공지능이 더 발전하려면 어떤 기술이 필요하다’라고 했었습니다. 인공지능의 발전, 당연히 중요합니다. 그런데 마냥 ‘좋은 게 좋다’ 식으로 발전시키면 소 잃고 외양간 고치는 격이 되죠. 그래서 준비해 보았습니다.
‘XAI’라 불리는 ‘설명 가능한 AI’를 소개하고 어떻게 활용되는지 대중적인 활용 사례라 생각되는 특허를 통해 말씀드리는 것까지 이번 글에 담아볼까 합니다.
XAI, ‘explainable AI’는 인공지능의 어떤 문제 때문에 필요한 것일까요?
바로 ‘윤리 문제’ 때문입니다.
문제를 좀 더 세밀하게 보면 편향과 차별 문제, 그리고 인공지능이 데이터 프라이버시 등 규제를 준수하는지 판단하는 문제, 오작동으로 인한 책임 소재가 불분명하다는 문제가 있습니다. 그리고 이로 인해 신뢰성 부족, 인간 통제 부족 문제로도 번지게 됩니다.
그럼 XAI는 무엇이길래 인공지능의 주요 문제점들을 해결할 수 있을까요?
XAI란 ‘설명가능한 인공지능’으로 AI 모델의 예측 결과를 사람이 이해할 수 있는 형태로 제공하는 기술입니다. 쉽게 말해, AI가 어떤 결정을 내였는지, 왜 그런 결정을 내렸는지를 설명해 주는 기술입니다. AI 모델이 복잡할수록 그 내부 동작을 이해하기 어려운데, XAI는 이런 복잡한 모델을 단순화하거나 시각화하여 그 과정을 설명합니다.
XAI에는 두 가지 주요 접근 방식이 있습니다. 하나는 모델 자체를 설명하는 방법이고, 다른 하나는 특정 예측 결과를 설명하는 방법입니다.
모델 설명은 전체 모델의 동작 방식을 이해하기 쉽게 설명하는 방법입니다. 예를 들어, 어떤 AI 모델이 이미지를 분류할 때, 모델이 이미지의 어느 부분을 보고 어떤 특징을 중요하게 여기는지를 시각적으로 보여주는 것입니다. 이를 통해 사용자는 모델이 어떤 방식으로 학습하고 판단하는지를 알 수 있습니다. 복잡한 딥러닝 모델을 단순화해서 보여주는 것이 대표적인 예입니다.
예측 설명은 특정 예측 결과가 어떻게 도출되었는지를 설명하는 방법입니다. 예를 들어, 어떤 고객이 대출 신청을 했을 때, AI 모델이 그 신청을 승인할지 거절할지를 결정합니다. 예측 설명은 그 결정 과정에서 어떤 입력 데이터가 중요한 역할을 했는지를 설명합니다. 즉, 고객의 신용 점수, 소득 수준, 부채 비율 등의 입력 데이터가 각각 결과에 얼마나 기여했는지를 보여줍니다.
XAI의 주요 기법으로는 LIME, SHAP가 있습니다.
LIME은 특정 예측 결과를 설명하기 위해 모델을 국소적으로 근사하는 방법입니다. 이 방법은 원래의 복잡한 모델을 단순한 선형 모델로 근사하여 각 특징이 결과에 미치는 영향을 파악합니다.
예를 들어, AI가 한 사람의 대출 신청을 거절했다면, LIME은 그 사람이 대출을 거절당한 이유를 간단한 선형 모델로 설명해 줍니다. 그 선형 모델을 보면, 그 사람의 소득이 낮거나, 부채가 많아서 거절당했음을 알 수 있습니다. LIME의 장점은 복잡한 모델에 대해 독립적으로 적용할 수 있다는 점입니다. 즉, 어떤 모델이든지 LIME을 사용해서 그 예측 결과를 설명할 수 있습니다.
SHAP는 게임 이론에 기반한 방법으로, 각 특징의 중요도를 계산합니다. SHAP는 샤플리 값을 사용하여 모든 가능한 조합에서 특정 특징이 결과에 기여하는 정도를 평가합니다.
게임 이론에서는 여러 플레이어가 게임에 기여한 정도를 평가하기 위해 샤플리 값을 사용합니다. 이 개념을 AI 모델에 적용한 것이 SHAP입니다. 예를 들어, AI 모델이 주식 가격을 예측할 때, 각 경제 지표가 예측 결과에 얼마나 기여했는지를 샤플리 값으로 계산해 줍니다. SHAP는 이론적으로 안정적이고 공정한 분배 방법을 제공하므로 널리 사용됩니다.
XAI가 무엇인지 감을 잡으셨을 겁니다.
이제 XAI가 윤리 문제 해결에 왜 도움이 되는지 말씀드리겠습니다.
이쯤 되면 예상하신 분도 계실 텐데요.
바로 XAI가 인공지능 윤리 문제의 해결방안 중 하나인 투명성 확보에 중요한 역할을 할 수 있기 때문입니다. XAI가 인공지능의 결정 과정을 설명하는 기술이니까 투명성을 높여준다는 것인데요.
그럼 투명성을 높이는 것이 왜 인공지능 윤리 문제의 해결방안이 될 수 있을까요?
간단히 말씀드리자면 투명성이 설명 가능성, 해석 가능성을 높여 책임 소재 판단 가능성을 높여주고 투명한 데이터 사용과 검증 및 감사를 통해 프라이버시를 보호할 수 있고 이해관계자의 참여를 활성화하고 법적 및 규제적 프레임워크를 통해 윤리적 문제를 해결하고 신뢰성과 공정성을 높일 수 있기에 윤리 문제 해결방안이 될 수 있다는 것입니다.
XAI에 대해 알아보았으니 특허를 보며 어떻게 활용될 수 있는지 살펴보겠습니다.
첫 번째 특허는 학습 진단 시스템에 관한 것으로 XAI를 통해 AI 프로세스를 투명하게 만들고 사용자가 이해할 수 있도록 하는 것입니다. 여기서 XAI는 진단 과정에서 특정 교육 경로가 왜 추천되었는지에 대한 통찰을 제공함으로써 신뢰성과 투명성을 향상합니다.
두 번째 특허는 뇌 활동 데이터를 분석하고 해석하여 신경학적 질병을 진단하는 AI 시스템에 관한 것입니다. 여기서 XAI는 인공신경망 분석으로 도출된 결정 과정을 설명하여 신뢰도를 높입니다.
특허들을 살펴보면 의료 분야와 같이 무언가 분석하여 정확한 결론을 도출하기 위해 더블 체크가 필요한 AI 모델에 활용이 많이 된 것을 알 수 있었습니다. 그리고 XAI가 어떻게 고급 AI 결정과 인간의 이해 사이의 격차를 좁히고, 이러한 기술을 더 접근 가능하고 신뢰할 수 있게 만드는지를 알 수 있었습니다. XAI는 AI의 신뢰성을 높이고, 윤리적이고 법적으로 적합한 AI 시스템을 개발하는 데 필수적인 기술이라는 것을 알 수 있었습니다. 오늘 영상을 통해 너무 AI 발전을 단편적으로만 보지 않고 문제점을 해결하는 기술에도 관심을 가지셨기를 바랍니다.
참고한 특허
1. KR10-2344532(정신질환의 진단을 위한 설명 가능한 인공지능 시스템 및 정신질환 진단 방법)
2. KR10-2023-0050907(설명 가능한 인공지능을 이용한 학습 진단 시스템)
