AI 편향은 인간의 거울이다
03
알고리즘이 드러낸 불편한 진실
2016년, 미국 법원에서 사용하던 재범 예측 시스템 COMPAS가 충격적인 결과를 보였다. 동일한 범죄 이력을 가진 백인과 흑인을 비교했을 때, 흑인이 '고위험군'으로 분류될 확률이 두 배 높았다. 실제로는 재범하지 않은 흑인의 45%가 고위험으로 잘못 분류된 반면, 백인은 23%에 그쳤다.
시스템 개발자들은 항변했다. "우리는 인종 데이터를 입력하지 않았다." 맞는 말이었다. 그러나 AI는 우편번호, 실업률, 가족 범죄 이력 등 겉보기에 중립적인 데이터에서 인종을 '추론'했다. 역사적으로 축적된 불평등이 데이터 속에 고스란히 담겨 있었던 것이다.
대출에 새겨진 경제적 불평등
금융권의 AI 신용평가 시스템도 마찬가지였다. 2024년 리하이 대학 연구에 따르면, AI 대출 심사에서 흑인 지원자는 백인과 동일한 재정 상태임에도 평균 120점 높은 신용점수를 요구받았다. AI는 주거 지역, 쇼핑 패턴, SNS 활동까지 분석했는데, 이 모든 것이 기존의 경제적 불평등을 반영하고 있었다.
또 다른 연구에서는 5천만 명의 신용 데이터를 분석한 결과, 소수 인종의 신용 점수가 채무불이행 위험 예측에서 약 5% 낮은 정확도를 보였고, 저소득층은 고소득자보다 10% 낮은 예측력을 보였다. 더 놀라운 것은 '피드백 루프'였다. AI가 특정 집단에게 높은 이자율을 부과하면, 그들의 연체율이 실제로 올라갔다. 그러면 AI는 이를 학습해 더 높은 위험으로 평가했다. 편견이 현실을 만들고, 그 현실이 다시 편견을 강화하는 악순환이었다.
의료에 반영된 불균형
의료 AI도 예외가 아니었다. 피부암 진단 AI 연구 136개를 조사한 결과, 학습 데이터는 압도적으로 밝은 피부톤 중심이었다. 가장 어두운 피부 타입을 포함한 연구는 단 5명의 환자 데이터만 사용했다. 피부 타입을 공개한 연구는 4.41%에 불과했고, 인종이나 민족 정보를 밝힌 연구는 8.82%뿐이었다.
AI가 백인 환자 데이터로 주로 훈련되면 어두운 피부의 피부암을 정확히 감지하지 못해 오진이나 늦은 진단으로 이어질 수 있다. 실제로 흑인의 피부암 발병률은 낮지만, 진단이 늦어져 예후가 더 나쁜 경우가 많다는 연구 결과도 있다.
심장병 예측 알고리즘도 비슷한 문제를 안고 있다. 역사적으로 의학 연구가 남성 중심으로 이뤄져, 여성 특유의 증상이 데이터베이스에 충분히 반영되지 않았다. 그 결과 AI는 여성의 심장병 증상을 과소평가하는 경향을 보인다.
거울에 비친 우리의 모습
MIT 미디어랩의 조이 부올람위니 연구원은 얼굴 인식 기술을 테스트했다. 밝은 피부 남성의 얼굴은 99% 이상 정확도로 인식했지만, 어두운 피부 여성은 오류율이 최대 34.7%에 달했다. 그녀 자신도 흑인 여성으로서, 예술 프로젝트 작업 중 AI가 자신의 얼굴을 인식하지 못한다는 것을 발견했다. 그녀는 자신의 얼굴을 인식시키기 위해 하얀 가면을 써야 했다.
"AI 시스템은 설계하는 사람들의 우선순위와 편견에 의해 형성된다"라고 그녀는 말했다. 불평등한 세계의 데이터로 학습한 AI가 공정할 수는 없다는 것이다.
실제로 AI의 편향은 새로운 것이 아니다. 그것은 이미 존재하던 인간의 편견을 디지털화하고, 자동화하고, 대규모로 확산시킨 것뿐이다. AI는 우리가 못 보던, 혹은 보지 않으려 했던 불평등을 선명하게 드러내는 거울이 되었다.
기술적 해결의 한계
개발자들은 기술적 해결책을 찾으려 했다. 알고리즘을 수정하고, 데이터를 균형 있게 조정하고, '공정성 지표'를 도입했다. 그러나 문제는 간단하지 않았다.
'공정'의 정의부터가 모호했다. 모든 집단에 동일한 승인율을 적용하는 것이 공정한가? 아니면 동일한 상환 능력을 가진 사람을 동일하게 대우하는 것이 공정한가? 수학적으로 이 두 가지 공정성은 동시에 만족시킬 수 없다는 것이 증명되었다.
더 근본적인 문제도 있었다. 역사적 불평등을 제거한 데이터는 현실을 반영하지 못했고, 현실을 반영한 데이터는 불평등을 재생산했다. 기술만으로는 사회적 문제를 해결할 수 없었다.
필요한 것은 성찰
구글은 2020년 저명한 AI 윤리 연구자 티미닛 게브루를 해고했고, 2021년에는 윤리 AI 팀의 창립자 마가렛 미첼까지 해고했다. 2024년에는 AI 윤리를 담당하던 RESIN 팀을 재편하여 90%의 인력을 다른 부서로 이동시켰다. 메타(페이스북)는 2023년 11월 책임 있는 AI 팀을 해체하고 대부분의 인력을 생성형 AI 제품 개발팀으로 재배치했다. 기업들은 '편향 없는 AI'를 약속하면서도, 정작 그것을 실현할 구조적 변화에는 소극적이었다.
사실 AI가 보여준 편향은 우리가 늘 알고 있었지만 외면했던 것들이다. 우리는 이력서에서 이름을 가려도 출신 학교로 차별했고, 우편번호만으로도 사람을 판단했다. AI는 그저 우리 사회에 이미 존재하던 편견을 숫자로 드러냈을 뿐이다. 고쳐야 할 것은 AI가 아니라 AI에 반영된 우리 자신이다.
남겨진 숙제
AI 편향 문제는 역설적으로 기회가 될 수 있다. 그동안 "그건 네 느낌일 뿐이야"라고 부정되던 차별이 데이터로 증명되었다. 숨겨졌던 불평등이 가시화되었다.
이제 우리는 선택해야 한다. AI를 탓하고 끝낼 것인가, 아니면 AI가 비춘 우리의 모습을 직시할 것인가.
기술을 고치는 것보다 사회를 바꾸는 것이 어렵다. 알고리즘을 수정하는 것보다 인식을 바꾸는 것이 오래 걸린다. 그러나 진정한 해결은 거기서 시작된다.
AI는 우리에게 묻고 있다. 당신들이 만든 이 세상이 정말 공정한가?
답은 기계가 아닌 우리가 해야 한다.