brunch

You can make anything
by writing

C.S.Lewis

by 하승창 May 25. 2021

알고리즘이 편견을 갖는 경우에

언제 다시 자동차를 소유하게 될 지는 모르겠지만 지금은 자동차가 없어 필요할 때는 공유차를 사용하고 있는 중이다. 주로 쏘카를 이용하고 있는데, 차를 소유하지 않고 있는 사람으로서 아주 유용한 이동수단이다.

공유차를 좀 더 잘 이용하기 위해 자주 이용하는 쏘카 제도 중 ‘쏘카 파트너’를 신청한 적이 있다. 아파트 입주자 주차장에 내가 소유하고 있는 차 대신 공유차에 주차공간을 제공하고, 나는 집에서 바로 공유차를 이용하는 것이다. 지난해 처음 ‘쏘카 파트너’를 신청했는데, 그때는 선정되지 않았다. 이유는 설명이 없고, 단지 "선정되지 않았다"는 메시지만 전달받아 고객센터를 통해 전화를 해서 담당자와 통화를 해야 했다. 담당자 역시 선정되지 않았다는 것만 알지 구체적 이유는 설명하지 못했다, 그저 자신들이 적절한 지역이 아니라고 판단했다는 사실만 반복할 뿐이었다. 선정이 어떤 기준으로 정해졌는지 설명해 주지 않았다. 알고리즘의 불투명성과 불친절함이란 사회적 기업으로 출발한 쏘카도 극복하는 것이 쉽지는 않구나 하는 생각을 하게 되었다.

그러다 올해 다시 신청했는데, 의외로 선정이 되었다. 덕분에 너무 편하게 잘 이용하고 있다. 하지만 지난 해는 선정되지 않았다가, 올해는 된 까닭이 궁금했다. 물론 쏘카의 알고리즘은 내게 그런 설명을 해 줄 것 같지는 않았다. 다만 같은 아파트 단지 내에 하나 있던 쏘카 공유차가 사라진 것을 보면 일정한 거리와 이용자 수 등에 따라 선정되었겠다고 추론할 뿐이다. 그렇게 심각한 기준으로 보이지 않지만 쏘카 담당자는 내부에서도 그런 기준에 대한 설명을 듣고 있지는 못한 것으로 보인다. 아마 나름의 영업기밀이기 때문일 수도 있겠다.

사실 이런 알고리즘에 의한 판단 모형들의 가장 큰 문제는 불투명성이다. 누가 어떤 생각으로 어떤 목표를 위해 만들었는지 우리로서는 알 수 없기 때문이다. 더구나 우리가 기준과 절차를 모른 채 만들어진 알고리즘이 사람들에게 피해를 주는 경우가 있다 하더라도 영업기밀이라는 이름의 비공개 원칙이 이를 수정할 기회조차 주어지지 않도록 만들고 있다.

그러면 이런 상황이 괜찮은 것일까? 만약 잘못된 윤리기준을 가지고 판단하고 결정할 때 사용되는 인공지능이 있다면 그 피해를 입는 사람들은 대개 이미 우리 사회에서 불평등한 상태에 있거나 차별받는 상태에 있는 사람들이 될 가능성이 훨씬 농후하다고 해야 할 것이다. 실제로 MIT대학에서 공부하는 조이 부올람위니(Joy Buolamwini)는 ‘내가 알고리즘의 편견과 싸우는 방법’이라는 주제의 최근 테드 영상에서 흑인 여성인 자신을 인식하지 못하는 얼굴 인식 소프트웨어의 문제를 발견하고 이를 교정하기 위해 노력한 이야기를 전해 준다. 백인남성은 거의 오류를 내지 않았고, 백인여성에게선 가끔 오류가 났고, 흑인 남성은 잦은 오류가, 흑인 여성은 얼굴 발견 못함 이라는 메시지를 보내는 AI는 프로그램 개발자의 무의식적인 편견에 기초한다는 사실을 깨닫고 이 프로그램을 개발한 IBM에 공식적으로 문제를 제기해 변화를 만들어 낸 이야기다.

여기서도 알 수 있듯이 알고리즘은 투명하게 설명될 수 있어야 한다. 우리 사회가 공감하고, 합의하는 기준에 부합하고 있는 지 알 수 있어야 한다. 공정하고 차별하지 않는 기준과 절차로 이루어진 알고리즘인지 알 수 있어야 한다.

빅데이타가 인공지능에 수많은 경우의 수로 제공되고, 인공지능이 이를 학습하면서 성장하고 발전하는 셈이고, 이를 통해 우리는 더 나은 서비스를 제공받는 것도 사실이다. 반면 이런 인공지능이 우리를 대신해 일하게 되면, 우리는 일자리를 잃게 될 것이라는 것이라고 생각하는 것이 보통이다. . 때론 기계 부품처럼 단순한 일을 하게 되고, 취업의 기회를 잃어 버리는 것 뿐 아니라, 건강이 나쁜 사람들을 배척하게 만들거나 소수자를 차별하게 하고, 불평등을 강화하게 만들 수도 있을 것이다. 인간이 학습시킨 데이타의 편향이 가져 오는 일들이다.

그러므로 이같은 모형을 개발하는 개발자들의 윤리의식도 중요하고 기업이나 기관 스스로 투명하게 공개하는 것도 중요하다. 무엇보다 알고리즘이 불공정과 차별을 기준으로 만들어지고 있지는 않은 지 투명하게 감시할 수 있는 기회를 갖는 것이 중요하다.

개인정보를 빅데이타에 사용되도록 제공하는 시민 개인 모두는 그렇게 할 권리를 갖고 있는 것으로 이해되어야 한다. 개인의 정보가 기업과 기관들에 의해 어떻게 사용되는지, 역으로 감시할 권리를 가진다는 것을 사회가 합의하고 이를 제도적으로 가능하도록 해야 한다. 국가인권위원회가 차별시정권한을 갖고 있는 것처럼 개인정보위원회에 알고리즘의 공정성과 합리적인 기준을 유지하는 지에 대해 들여다 볼 법적인 권한을 줄 필요가 있다. 영업기밀이라 하여 인공지능을 다 설명할 수 없다 하더라도 그 결과에 편향과 차별이 없는 지를 증명하고 설명할 수 있어야 하기 때문이다.

출처 : 이로운넷(https://www.eroun.net)

keyword