머신러닝 시스템의 장기적 영향 탐색 도구
2020년 2월 5일(수) 구글 AI 리서치 블로그
형사 선고 결정, 아동 복지 평가, 의학적 치료 및 기타 여러 환경을 결정하는 등 효과적인 의사 결정을 지원하기 위해 머신 러닝 시스템이 점차 배포되고 있습니다. 이러한 시스템이 공정한지 여부를 이해하는 것이 중요하며 모델의 단기 및 장기 효과를 이해해야합니다. 머신 러닝 시스템의 공정성을 평가하는 일반적인 방법에는 시스템에 대한 다양한 입력에 대한 정적 데이터 세트의 오류 메트릭의 차이를 평가하는 것이 포함됩니다. 실제로, 많은 기존 ML 공정성 툴킷(예: AIF360, fairlearn, fairness-indicators, fairness-comparison)은 기존 데이터셋에 대해 이러한 에러 메트릭(error metric) 기반 분석을 수행하기위한 도구를 제공합니다. 이러한 종류의 분석은 간단한 환경의 시스템에서 작동 할 수 있지만 알고리즘이 작동하는 컨텍스트가 영향을 이해하는 데 중요한 경우(예: 실제 데이터 수집 또는 상당한 피드백 루프가 있는 시스템)가 있습니다. 이러한 경우에, 알고리즘 결정의 공정성은 이상적으로는 에러 메트릭 기반 기술이 허용하는 것보다 환경적 및 시간적 맥락을 더 고려하여 분석 될 것 입니다.
이 광범위한 맥락에서 알고리즘 개발을 용이하게 하기 위해, 우리는 소셜 시뮬레이션 환경에서 머신러닝 기반 의사 결정 시스템을 배포 할 때 발생할 수 있는 장기적인 영향을 모색하는 간단한 시뮬레이션을 구축하기 위한 일련의 구성 요소인 ML-fairness-gym을 출시했습니다. “Fairness is not Static: Deeper Understanding of Long Term” 논문에서, 우리는 ML-fairness-gym을 사용하여 현재 머신러닝 공정성 문헌에서 다수의 확립된 문제에 대한 자동화된 의사 결정 시스템의 장기적인 영향을 연구하는 방법을 보여줍니다.
하나의 예: 대출 문제
머신러닝 시스템의 공정성을 고려하는 데 있어 고전적인 문제는 Liu et al에 설명한 대출 문제입니다. 이 문제는 대출 프로세스의 단순화되고 양식화된 표현으로, 우리는 단일 피드백 루프에 중점을 두어 그 효과를 분리하고 자세히 연구합니다. 이 문제 공식에서 개별 신청자가 대출을 상환할 확률은 그것들의 신용 점수의 함수입니다. 이 지원자들은 또한 임의의 숫자의 그룹 중 하나에 속하며 대출 은행이 그룹 구성원을 볼 수 있습니다.
그룹은 다른 신용 점수 분포로 시작합니다. 은행은 그룹 전체에 적용되거나 각 그룹에 맞게 조정된 신용 점수에 대한 임계 값을 결정하여 은행이 목표를 달성 할 수 있도록 합니다. 임계값보다 높은 점수를 받은 지원자는 대출을 받고 점수가 낮은 지원은 거부됩니다. 시뮬레이션에서 개인을 선택할 때 대출을 받을지 여부는 그룹의 투자 회수 확률에 따라 무작위로 결정됩니다. 이 예에서, 현재 대출을 신청하는 개인은 추후에 추가 대출을 신청할 수 있으며, 따라서 신용 점수와 그룹의 평균 신용 점수 증가 모두에 대한 대출을 상환함으로써. 마찬가지로 신청자가 불이행하면 그룹의 평균 신용 점수가 감소합니다.
가장 효과적인 임계값 설정은 은행 목표에 따라 다릅니다. 이익 극대화 은행은 신청자가 대출을 상환할 가능성을 바탕으로 예측 수익률을 극대화하는 임계값을 설정할 수 있습니다. 두 은행 모두에게 공정성을 추구하는 다른 은행은 기회의 평등을 만족시키면서 이익을 극대화하는 임계값을 구현하려고 시도할 수 있으며, 그 목표는 진정한 양의 비율을 유지하는 것입니다. 대출을 상환한 지원자 중 대출을 받은 사람). 이 시나리오에서, 은행은 머신러닝 기술을 사용하여 분배된 대출 및 그 결과에 따라 가장 효과적인 임계값을 결정합니다. 그러나 이러한 기술은 종종 단기 목표에 중점을 두기 때문에 서로 다른 그룹에 의도하지 않은 불공정한 결과를 초래할 수 있습니다.
[그림1][그림1] 상세설명 - 위: 100개 단계의 시뮬레이션에서 두 그룹의 신용 점수 분포 변경. 하단: 시뮬레이션 과정에서 그룹1에 대한 은행 현금과(오른쪽) TPR은 파란색으로, 그룹 2는 녹색으로 표시됩니다.
정적 데이터셋 분석의 결함
대출 문제와 같은 시나리오의 영향을 평가하기 위한 머신러닝의 표준 사례는 데이터의 일부를 "테스트셋"로 예약하고 이를 사용하여 관련된 성과 메트릭을 계산하는 것입니다. 그런 다음 성과 그룹이 각 그룹마다 어떻게 다른지 살펴보고 공정성을 평가합니다. 그러나 피드백이 있는 시스템에서 이와 같은 테스트셋을 사용하는 데는 두 가지 주요 문제가 있음을 잘 알고 있습니다. 기존 시스템에서 테스트셋가 생성되면 테스트셋이 불완전하거나 해당 시스템 고유의 편견(bias)들을 반영 할 수 있습니다. 대출 예에서, 대출을 받은 신청자가 채무 불이행 또는 상환 여부에 대한 정보만 보유 할 수 있으므로 테스트셋이 불완전 할 수 있습니다. 결과적으로 데이터셋에는 대출이 승인되지 않았거나 이전에 대출을 받지 않은 개인이 포함되지 않을 수 있습니다.
두 번째 문제는 ML 시스템의 출력에 의해 통보된 조치가 미래의 입력에 영향을 줄 수 있는 영향을 미칠 수 있다는 것입니다. ML 시스템에 의해 결정된 임계값은 대출을 연장하는 데 사용됩니다. 사람들이 이러한 대출을 불이행하거나 상환하든 미래 신용 점수에 영향을 미치며 ML 시스템으로 피드백됩니다.
이러한 문제는 정적 데이터셋의 공정성 평가의 단점을 강조하고 배치된 동적 시스템의 맥락에서 알고리즘의 공정성 분석 필요성을 자극합니다. ML-fairness-gym 프레임워크를 작성하여 ML 실무자들이 ML 기반 시스템에 시뮬레이션 기반 분석을 제공 할 수 있도록 하였습니다.이 방법은 폐쇄형 분석이 어려운 동적 시스템을 분석하기위한 여러 분야에서 효과적인 것으로 입증되었습니다.
장기 분석을 위한 시뮬레이션 도구인 ML-fairness-gym
ML-fairness-gym은 Open AI의 Gym 프레임워크를 사용하여 순차적 의사 결정을 시뮬레이션합니다. 이 프레임워크에서 에이전트는 루프에서 시뮬레이션 환경과 상호 작용합니다. 각 단계에서 상담원은 환경 상태에 영향을 미치는 작업을 선택합니다. 그런 다음 환경은 에이전트가 후속 조치를 알리기 위해 사용하는 관찰을 나타냅니다. 이 프레임워크에서 환경은 시스템과 문제의 역학을 모델링하고 관찰은 에이전트에 대한 데이터 역할을 하며 머신러닝 시스템으로 인코딩 될 수 있습니다.
[그림2][그림2] 상세설명 - 시뮬레이션 프레임워크에 사용된 에이전트 환경 상호 작용 루프의 흐름도. 에이전트는 선택 조치를 통해 환경에 영향을 줍니다. 환경은 행동에 반응하여 변화하고 내부 상태의 일부를 관찰로 산출합니다. 지표는 환경의 이력을 조사하여 결과를 평가합니다.
대출 예제에서 은행은 에이전트 역할을합니다. 환경에서 관찰 형태로 대출 신청자, 신용 점수 및 그룹 멤버십을 수신하고 대출 승인 또는 거부를위한 2 진 결정의 형태로 조치를 취합니다. 그런 다음 환경은 신청자가 성공적으로 상환하는지 또는 채무 불이행을 모델링하고 그에 따라 신용 점수를 조정합니다. ML-fairness-gym은 은행 정책이 신청자 인구에 대한 공정성에 미치는 장기적인 영향을 평가할 수 있도록 결과를 시뮬레이션합니다.
공정성이 정적이지 않음: 장기적으로 분석 확장
Liu 등의 대출 문제의 원래 공식화는 단기 이익 극대화 정책(최대 보상 에이전트(max reward agent)라고 함) 및 기회 평등(EO) 제약조건이 적용되는 정책을 포함하여 은행 정책의 단기 결과만 조사 했으므로 — ML-fairness-gym을 사용하여 시뮬레이션을 통해 분석을 장기(다단계)로 확장합니다.
[그림3][그림3] 상세설명 - 위: 최대 보상 및 EO 에이전트가 부여한 누적 대출, 신청자의 그룹 신원에 의해 계층화됩니다. 하단: 시뮬레이션이 진행될 때 그룹 평균 크레딧(그룹 조건부 상환 확률로 수량화). EO 에이전트는 그룹 2의 대출에 대한 접근 권한을 높이지만 그룹 간의 신용 격차를 넓힙니다.
우리의 장기 분석에서 두 가지 결과가 발견되었습니다. 첫째, Liu 등이 발견한 바와 같이, equal opportunity agent(EO agent)는 때때로 최대 보상 에이전트에 의해 적용되는 것보다 낮은 임계값을 적용함으로써 불리한 그룹(평균 신용 점수가 낮은 그룹 2)에 초과대출 합니다. 이로 인해 그룹2의 신용 점수가 그룹1 보다 감소하여 최대 보상 에이전트를 사용한 시뮬레이션보다 그룹 간의 신용 점수 차이가 더 커집니다. 그러나 우리의 분석은 또한 그룹2가 EO 에이전트와 함께 악화되는 것처럼 보일 수 있지만 누적 대출 그래프를 보면 불리한 그룹2가 EO 에이전트로부터 훨씬 더 많은 대출을 받는다는 것을 알았습니다. 복지의 지표가 신용 점수인지 또는 받은 총대출인지에 따라, EO 에이전트가 최대 보상 에이전트보다 그룹 2에 더 좋거나 더 해롭다고 주장 할 수 있습니다.
두 번째 결과는 각 단계에서 그룹간에 균등화된 TPR을 시행하는 기회 균등 조건이 시뮬레이션을 통해 TPR을 균등화하지 않는다는 것입니다. 이 반직관적인 결과는 심슨의 역설사례로 생각할 수 있습니다. 아래 차트에서 볼 수 있듯이 2년마다 동일한 TPR은 총 TPR이 같지 않습니다. 이것은 기초 모집단이 진화할 때 기회 메트릭의 평등이 어떻게 해석하기 어려운 지를 보여 주며, ML 시스템이 원하는 효과를 갖도록하기 위해보다 신중한 분석이 필요함을 시사합니다.
[그림4][그림4] 상세설명 - 심슨의 역설 예. TP는 참긍정(ture positive)이고, FN은 거짓부정(false negative)이며, TPR은 참긍정율(true positive rate)입니다. 1년과 2년에 대출 기관은 두 그룹들 간에 동등한 TPR을 달성하는 정책을 적용합니다. 두 해에 걸친 집계는 TPR이 같지 않습니다.
결론 및 향후 작업
이 블로그 게시물에서 대출 문제에 대한 조사 결과에 중점을 두었지만 ML-fairness-gym을 사용하여 다양한 공정성 문제를 해결할 수 있습니다. 우리의 논문은 이전에 학술 ML 공정성 문헌에서 연구된 다른 두 가지 시나리오에 대한 분석을 확장합니다. ML-fairness-gym 프레임워크는 “공정성”이 부족한 문제를 시뮬레이션하고 탐색할 수 있을 정도로 유연합니다. 예를 들어, “소셜 네트워크에서의 공정한 배분(Fair treatment allocations in social networks)”이라는 지지 논문에서 우리는 precision disease control problem라고 하는 양식화된 유행성 통제 버전을 탐구하여, 소셜 네트워크의 개인과 지역 사회에 걸친 공평성 개념을 더 잘 이해합니다.
ML-fairness-gym이 다른 연구자들와 머신 러닝 개발자들이 머신러닝 알고리즘이 우리 사회에 미치는 영향을 더 잘 이해하고 보다 책임감 있고 공정한 머신러닝 시스템의 개발을 알리는 데 도움이 될 ML-fairness-gym의 잠재력에 대해 기쁘게 생각합니다. ML-fairness-gym Github 리포지토리에서 코드와 문서를 찾으십시오.
게시자 : Hansa Srinivasan, Google Research 소프트웨어 엔지니어
원본제목: ML-fairness-gym: 머신러닝 시스템의 장기적 영향을 탐색하기 위한 도구(ML-fairness-gym: A Tool for Exploring Long-Term Impacts of Machine Learning Systems)
원본링크: https://ai.googleblog.com/2020/02/ml-fairness-gym-tool-for-exploring-long.html
IBM의 AIF360 오픈소스: https://github.com/IBM/AIF360
fairlearn 오픈소스: https://github.com/fairlearn/fairlearn
fairness-indicators 오픈소스: https://github.com/tensorflow/fairness-indicators
fairness-comparison 오픈소스: https://github.com/algofairness/fairness-comparison
ml-fairness-gym 오픈소스: https://github.com/google/ml-fairness-gym
이 블로그는 2020년 2월 5일 (수), Google AI Research Blog 기사를 영어에서 우리나라 말로 번역한 것입니다. 또한 이 번역 글은 정보 공유 목적으로만 작성했으므로 어떠한 상업용으로 사용할 수 없으며, 원본 저작물 모두 구글에게 저작권이 있음을 알려 드립니다. (First Draft Version)
