블랙 박스를 화이트 박스로 전환하라2

출퇴근길에 공부하는 머신러닝

들어가며

인공지능과 머신러닝은 혁신적인 기술로 각광받고 있지만, 그들이 만들어내는 결정 과정은 종종 '블랙 박스'처럼 불투명하다. 이러한 복잡한 모델들이 왜 특정 결정을 내렸는지 이해하는 것은 실제 응용 분야에서 중요한 문제이다. 이번편에서 조금 더 심화하여 다루어볼 LIME과 SHAP은 이 블랙박스를 해체하고 모델의 예측을 설명할 수 있는 기술이다.

출처 : https://www.investopedia.com/terms/b/blackbox.asp

LIME (Local Interpretable Model-Agnostic Explanations)

LIME은 복잡한 모델의 예측을 이해할 수 있도록 돕는 기술이다. 어떤 모델이든 적용 가능하며, 숫자, 텍스트, 이미지 등 다양한 데이터에 활용할 수 있다.

 모델링 단계: 우리가 흔히 사용하는 다양한 모델로 학습을 진행한다. 예를 들어, 회귀 모델, 결정 트리, 심층 학습 등이 있다. LIME은 이러한 다양한 모델에 대한 확장성을 제공한다.

데이터셋 및 예측: 학습된 모델을 사용하여 학습 데이터 또는 검증 데이터에 대한 예측을 수행한다.

 피킹 단계: 분석하고자 하는 특정 데이터를 선택한다. 예를 들어, 고성능 그룹을 데이터셋에서 추출할 수 있다.

설명 단계: LIME을 사용하여 선택한 데이터에 대한 중요한 특징을 도출한다.

 결정 단계: 중요한 특징들을 바탕으로 실제로 중요한지 여부를 판단한다. 이를 위해 상관관계 분석 및 시각화를 통한 통찰을 제공한다.

SHAP (Shapley Additive exPlanations)

SHAP은 LIME의 개념을 확장한 방법으로, 게임 이론의 Shapley Value 개념을 도입한다.. 이는 각 특성이 출력에 미치는 기여도를 정확하게 측정기 위한 것이다.

SHAP은 각 특성의 기여도를 개별적으로 분석하여, 모델이 특정 출력을 내기까지 어떤 변수가 어떻게 작용했는지를 명확하게 이해할 수 있도록 한다. 예를 들어, 아파트 가격에 영향을 미치는 다양한 특성들인 위치, 크기, 층수 등  이 각각 어떻게 가격 형성에 기여하는지 분석할 수 있을 것이다

이 기술은 각 특성의 중요도를 정확히 측정함으로써, 더 정확한 의사결정을 내릴 수 있게 도와준다. 또한, 이러한 분석을 통해 모델이 만들어내는 예측의 신뢰성을 높일 수 있을 것이다.

마치며

결론적으로, LIME과 SHAP은 머신러닝 모델의 '블랙 박스' 문제를 해결하는 데 중요한 도구이다. 이러한 기술을 통해 우리는 모델이 만들어내는 복잡하고 어려운 결정들을 명확히 이해하고, 필요한 상황에서 적절한 조치를 취할 수 있게 된다. 이는 의료, 금융 등 다양한 분야에서 모델의 투명성과 신뢰성을 높이는 데 기여할 것이다.