착한 기계는 윤리적인가

01

아마존의 실패한 실험

2018년, 아마존은 채용 AI 개발을 중단했다. 이유는 간단했다. 시스템이 여성 지원자를 체계적으로 낮게 평가했기 때문이다. AI는 과거 10년간의 채용 데이터를 학습했고, 그 데이터 속에는 남성 중심의 채용 관행이 고스란히 담겨 있었다. 기계는 '여성'이라는 단어가 포함된 이력서에 감점을 주기 시작했다.

흥미로운 점은 이것이 프로그래머의 의도가 아니었다는 것이다. 오히려 그들은 성별, 나이, 학력 같은 편향을 제거하고 '공정한' 평가를 하려 했다. 하지만 결과는 정반대였다. AI는 편견이 없었던 게 아니라, 편견을 인식하지 못했을 뿐이었다.

공정함에 대한 착각

우리는 종종 AI가 인간보다 더 객관적이고 공정할 것이라 기대한다. 감정이 없으니 화풀이로 점수를 깎지 않을 것이고, 선입견이 없으니 외모로 판단하지 않을 것이라고. 어쩌면 인간보다 '더 착한' 판단을 내릴 수 있다고 믿는다.

그런데 여기서 질문이 생긴다. 착하게 행동하는 것과 윤리적인 것은 같은가?

투명한 거울

AI는 데이터를 학습한다. 그 데이터는 인간이 만든 것이다. 우리의 선택, 우리의 판단, 우리의 역사가 숫자로 변환되어 알고리즘에 입력된다. 그러니 AI가 내놓는 결과는 결국 인간 사회의 욕망이 투명하게 드러난 거울이다. 편견이 없는 것이 아니라, 편견을 편견으로 인식하지 못하는 것뿐이다.

아마존의 채용 AI는 '잘못된' 것을 학습했다기보다, 너무 '정확하게' 학습했다. 과거 10년간 실제로 남성이 더 많이 채용되었고, AI는 그것을 성공의 패턴으로 읽었다. 기계의 입장에서 보면 논리적인 판단이었다. 문제는 그 논리가 인간 사회의 불평등을 그대로 재현한다는 점이다.

윤리란 무엇인가

그렇다면 우리는 AI를 어떻게 '착하게' 만들 수 있을까? 더 많은 데이터를 주면 될까? 더 정교한 알고리즘을 개발하면 될까?

어쩌면 그전에 물어야 할 것이 있다. 윤리란 무엇인가?

윤리는 단순히 올바른 행동을 선택하는 능력이 아니다. 그보다는 자신이 올바르지 않을 수 있음을 아는 능력에 가깝다. 내가 편견을 가졌을 수 있다는 것, 내 판단이 틀릴 수 있다는 것, 내가 누군가에게 불공정할 수 있다는 것을 자각하는 능력. 그래서 멈추고, 돌아보고, 다시 생각하는 것.

자각하지 못하는 기계

AI는 이것을 할 수 없다. 자신이 차별하고 있다는 것을 모른다. 데이터가 말해주지 않으면 알 방법이 없다. 아마존의 AI는 여성을 낮게 평가하면서도, 그것이 문제인지 알지 못했다. 스스로를 의심할 수 없었다.

착하게 행동하는 것은 프로그래밍할 수 있다. 하지만 자신이 착하지 못할 수 있음을 아는 것, 그래서 끊임없이 자신을 돌아보는 것은 프로그래밍할 수 없다.

진짜 질문

결국 AI가 인간보다 더 착해진다 해도, 그것이 곧 윤리적 존재가 되는 것은 아니다. 윤리는 완벽한 판단이 아니라 불완전함을 자각하는 데서 시작되기 때문이다. 기계는 실수를 할 수 있지만, 실수했다는 것을 스스로 깨닫지는 못한다.

그러니 진짜 질문은 이것이다. 우리는 AI를 더 윤리적으로 만들려 하기보다, 왜 우리 자신이 더 윤리적이지 못한 지 먼저 물어야 하는 건 아닐까? AI의 편견은 우리의 편견이고, AI의 차별은 우리의 차별이다.

착한 기계를 만들기 전에, 착하지 못한 우리를 마주해야 한다.

•참고 기사

동아일보 : 'AI 채용' 차별 논란에… 뉴욕 “성별-인종 편향 공개하라” 첫 규제

여성신문 : AI 면접 여성 차별 우려