by
Jul 29. 2023
알고리즘이 공무원을 대체하면 벌어질 일
신뢰할 수 있는 인공지능을 만드는 소프트웨어와 개발자
위험을 초래한 위험분류모델
인공지능이 개발되는 속도만큼이나 우리 삶의 모든 영역에 스며드는 속도는 너무나 빨라요. 속도를 감당할 수 없었던 탓일까, 과속으로 인한 부작용들이 차츰 포착되고 있어요.
네덜란드 세무당국은 육아수당 부정수급을 적발하기 위해 알고리즘을 도입해요. 2012년부터 2019년까지의 수 십만 건의 데이터를 샅샅이 뒤져했기 때문에 사람의 재주로는 할 수 없는 일이었죠. 이 알고리즘은 무려 2만 6천 명의 부정수급자들을 선별했어요. 이 부정수급자들에게는 받았던 수당을 다시 토해내라는 환수명령이 통지됐어요. 알고리즘이 있었기에 가능한 성과였어요. 하지만 이 성과의 결말은 2021년 네덜란드 전체내각이 총 사퇴하는 예상치 못한 반전으로 끝이 나요.
샤메인 레이스너는 6세 미만의 자녀 3명과 함께 살고 있는 네덜란드 국민이었어요. 자녀 부양을 위해 2008년부터 육아수당을 받았던 수급자 가정 중 하나였죠. 그러던 2012년 어느 날, 5년 전부터 지급된 육아수당을 반환하라는 고지서를 받게 됐어요. 그 돈은 한화로 약 1억 4천만 원. 세무당국의 알고리즘이 레이너스와 같은 사람들을 부정수급자로 분류한 것이 그 이유였어요.
알고리즘은 반복되는 데이터 속에서 특징을 걸러내는데. 세무당국의 알고리즘은 자신만의 판단기준으로 몇몇 수급자들에게 ‘위험 점수’를 부여했어요. 이 위험점수는 특정 인종에게, 특정 국적이나 특정 소득범위(저소득층)에게 ‘고의 또는 중과실’ 분류를 더욱 빈번하게 부여했다는 점이 확인되었어요. 신청서의 작은 오류로 인해 부정수급자로 분류된 사람들은 소수민족 또는 저소득층이었으며 이들은 하루아침에 엄청난 빚을 떠안게 돼요.
여파는 끔찍했어요. 부정수급자로 분류된 수천 가구가 파산과 이혼의 아픔을 겪었으며 1천 명이 넘는 어린이들은 위탁 보호시설로 넘어갔어요. 일부 피해자들은 목숨을 끊는 비극으로 치달았고요. 샤메인 레이너스의 가정도 마찬가지였어요. 환급고지서를 받게 된 바로 이후 어머니의 암 진단이 겹치면서 본인 또한 우울증과 탈진에 빠지게 됐고 아이들의 아버지와도 헤어지게 되었죠.
이 참사가 진행되는 동안 공무원들은 알고리즘을 신뢰하고 의존했기에 결과에 대해 큰 의문을 품지 않았어요. 최대한 많은 부정수급자를 적발해야 한다는 성과기준과 새로 도입된 알고리즘의 효과성을 입증해야 한다는 압박 때문이었죠.
출처 Dutch childcare benefit scandal an urgent wake-up call to ban racist algorithms, 2021. 10. 25.공무원과 인공지능
공무원과 알고리즘을 만드는 인공지능에는 공통점과 차이점이 하나씩 있어요. 공통점은 ‘효율’, 차이점은 ‘책임’이에요. 막스 베버에 의하면, ‘관료제’(bureaucracy)는 합리적인 방식으로 업무를 수행하기 위해 만들어졌어요. 관료제의 가장 큰 장점은 효율성이에요. 복잡하고 거대한 과업을 신속하게 처리할 수 있기 때문이죠. 그리고 이 관료제를 대표하는 조직은 국가의 소속되어 국가행정의 업무를 처리하는 공무원 집단으로 볼 수 있어요.
인공지능의 ‘효율’은 사람이 내는 효율을 초월해요. 보고서나 법률안 등 수백 페이지가 되는 학술·법률적 텍스트를 몇 초 만에 요약은 물론, 분류작업까지 가능하게 하는 재주를 보여줘요. 이 효율을 무기로, 인공지능 가속화에 가장 큰 기여를 하고 있는 기업인 NVIDIA는 정부 기관도 인공지능을 사용할 것을 권고해요. 정부가 가진 한정된 예산 내에서 더 신속하고 효율적인 정부 서비스를 제공할 수 있기 때문이에요.
하지만 책임의 무게는 달라요. 사전에 따르면 책임이란 '맡아서 해야 할 임무나 의무' 그 자체나 '어떤 일에 관련되어 그 결과에 대한 의무나 부담, 그 결과로 받는 제재'를 의미해요. 공무원의 책임은 이보다 훨씬 넓은 의미로서, 자신이 맡아서 해야 할 임무나 의무를 다해야 하죠. 우리나라 헌법에 제7조 제1항에 '공무원은 국민 전체에 대한 봉사자이며 국민에 대하여 책임을 진다'라고 명시되어 있는 것이 바로 이러한 이유예요. 그렇기 때문에 우리 일반 국민은 공무원을 신뢰하고 의지하며 우리의 삶을 결정짓는 중요한 일들을 위임해요.
이와 달리 ‘인공지능에게 책임이 부여된다.’는 말은 어색한 말처럼 들려요. 개발자가 인공지능을 창조해내지만, 그 이후 인공지능은 빅데이터와 네트워크를 이용해 스스로 딥러닝을 하면서 자율성을 가진 것처럼 계속 변화해요. 그렇다 보니 최초 제작자에게 그 책임 물을 수 있는지, 어느 범위까지 물을 수 있을지가 굉장히 모호해요. 또한, 법적인 책임을 부여하기 위해서는 법적 지위가 인정되어야 해요. 하지만 현행법상 인공지능은 독자적인 권리주체로 인정되지 않아요. 소프트웨어와 하드웨어로 구성된 물건에 불과하기 때문이죠.
가까운 미래에는 공적인 업무와 결정을 내리는 주체가 인간일지 기계일지 모호해질 수 있어요 / 출처 giphy.com‘신뢰할 수 있는 인공지능’(Trustworthy AI)
인공지능을 신뢰할 수 있는가에 대한 의견은 둘로 나뉘어요. 네덜란드 육아수당 사례처럼 인공지능의 알고리즘이 어떠한 논거를 가지고 결정을 내렸는지 알 수 없기 때문에 아무리 효율적이라고 해도 신뢰할 수 없는 결과를 내놓을 수도 있어요.
우리가 인공지능과 살아가고 중요한 결정을 내릴 수 있게 권한을 위임하려면. 인공지능이 지닌 편향성, 프라이버시, 안전성 확보 문제 등과 같은 인공지능 리스크는 반드시 해결되어야 해요. ‘신뢰할 수 있는 인공지능(Trustworthy AI)’은 인공지능이 만들어지는 기획-개발-구현과정에 참여하여 더욱 안전하고 신뢰할 수 있는 인공지능을 구현하자는 움직임이에요. 사후적으로 인공지능의 불확실성과 위험성에 대응하는 방식이 아닌 선제적으로 개입하는데 의의가 있죠.
이러한 맥락에서 ‘참여적 전환(Participatory Turn)’이 의제화되고 있어요. 참여적 전환은 전문조직 중심의 인공지능 개발을 넘어서, 시민과 이해당사자가 참여하는 거버넌스 접근을 의미해요. 이 전환은 전문가와 시민이 함께 협업함으로써, 안전성, 편향성, 실업과 같은 기술리스크를 줄이며, 나아가 현장중심의 솔루션 개발까지 인공지능의 쓰임이 확장될 수 있어요.
인공지능 개발 과정별 신뢰 확보 기준 적용 체계도 / 출처 : 사람이 중심이 되는 인공지능을 위한 신뢰할 수 있는 인공지능 실현 전략민주주의라는 소프트웨어와
문화 번역가(cultural translator)라는 개발자
스스로를 시빅 해커(Civic Hacker)라고 소개하는 오드리 탕(Audrey Tang, 1981 ~ )은 세계적으로 유명한 정치인들 중 한 명이예요. 해커로 활동한 경험이 있으며 트랜스젠더라는 정체성을 가지고 있고 최연소 나이(35세)에 장관직에 올랐던 인물이에요. 대만 출신인 오드리 탕은 대만 정부의 디지털 정무위원(2016 ~ 2022), 디지털부 장관(2022 ~ )을 거쳤고, 디지털·IT 기술과 정치의 융합을 통해 정부-시민을 연결하고 소통할 수 있도록 공공정책을 구현함으로써 ‘디지털 민주주의’를 실현하는 것이 주임무에요.
* 시빅 해커 : 공공데이터를 활용해 사회적 문제를 개선하거나 정책적 개선을 시도하는 해커예요.
* 오드리 탕은 코로나19 당시, 시민이 만든 마스크 앱에다가 정부가 보유한 데이터와 보건 시스템을 결합해 대중에게 제공했고, 결과적으로 효과적이고 민주적인 방식으로 팬데믹을 대처했어요.
시빅 해커이자 개발자인 오드리 탕은 민주주의를 사회를 운영하는 ‘소프트웨어’에 비유해요. 민주주의라는 소프트웨어는 대규모로 의견을 경청하도록 하는 것. 고통에 가까운 사람들로 하여금 자신들의 경험을 증폭시킬 수 있게 하는 것. 그리하여 다양하고 상이한 배경의 사람들이 그 경험에 공감할 수 있도록 하는 것. 즉, 함께 있음(co-presence)을 체험하는 것이라고 표현해요. 사람들이 듣는 것과 느끼는 것을 대규모로 공유할 수 있게 하는 사회적 소프트웨어가 바로 민주주의죠.
그리고 정책 작성자의 역할을 하는 공무원·공직자는 자신이 파악한 공중의 뜻을 언어나 법령으로 실행에 옮겨야 해요. 시민들의 수많은 아이디어와 바람을 현실에 구현하는 개발자와 같은 역할이죠. 오드리 탕은 이 역할을 '문화 번역가(cultural translator)'로 표현해요. 서로 다른 견해를 가진 사람들이 공유하는 가치를 찾고 모두가 받아들일 수 있는 해법을 만들어내는 것이죠. 이 문화 번역가에게 필요한 것을 논의에 관계된 모든 사람의 입장이 되어보고 사안을 다양한 시각에서 살펴보는 '로테이션'이라고 해요.
그런 의미에서 오드리 탕은 인공지능(Artifical Intelligence)을 도우미 지능(Assistant Intelligence)으로 인식을 전환할 것을 주장해요. 인간을 대체하는 지능으로 보지 않고 인간을 도울 수 있는 지능으로 바라보며, 우리 인간 스스로 또한 인공지능에 의존하고 모든 것을 위임하는 태도에서 벗어나자는 의미예요.
이진법이 만든 이분법을 넘어서
네덜란드 사례처럼, 효율성이 모든 가치보다 우선해 우리가 인공지능과 알고리즘에 모든 것을 위임하고 한다면 그 위험은 결국 우리에게 되돌아 올 확률이 높아요. 인공지능이 계속 발전을 거듭한다고 해도, 타인의 입장이 되어보고 수혜자의 사정을 헤아릴 수 있는 수준까지 구현될지 모르기 때문이에요.
신뢰할 수 있는 인공지능을 만드는 데에는 기술의 발전만으로 될 수 없어요. 타인에 대한 관심, 약자에 대한 배려, 즉 '함께 있음'이 묻어나는 빅데이터로 딥러닝 할 수 있어야 하는데, 이것이 가능하려면 민주주의라는 소프트웨어 그리고 문화번역가라는 개발자의 역할이 자리매김해야 되겠죠. 이진법(0과 1)이 만든 이분법을 넘어서 그 이면을 볼 수 있는 건 오직 사람만이 할 수 있으니까요. 아직까지는.(마침)
참고
[매거진] 알고리즘의 “부수적 피해”가 되어버린 사람들, 변정필 기자, 워커스 No. 102., 2023. 5. 1.
[뉴스/기사] 네덜란드 '보육 보조금 스캔들'로 내각 총사퇴, 연합뉴스, 2021. 1. 16.
[블로그] AI를 통한 생산성 향상: 산업 전반에 걸쳐 새로운 효율성의 시대를 여는 생성형 AI, NVIDIA KOREA, 2023. 7. 19.
[주간지/기고] ‘법치 대통령’ 윤석열의 행보에서 보이지 않는 것, 오지원 변호사, 시사인, 2023. 2. 12.
[논문] 최민수. (2020). 인공지능 로봇의 오작동에 의한 사고로 인한 불법행위책임. 민사법의 이론과 실무, 23(3), 1-61.
[도서] 대만의 디지털 민주주의와 오드리 탕, 전병근, 북저널리즘, 2021. 4. 19
[기사] [위대한 수업, 그레이트 마인즈] 대만 디지털 장관, 오드리 탕에게 듣는다, 정현희, 한국강사신문, 2023. 6. 6.
[영상] Digital Social Innovation to Empower Democracy | Audrey Tang | TEDxVitoriaGasteiz
[정부/정책] 신뢰할 수 있는 인공지능 구현 전략 발표, 김현 사무관, 박예슬 사무관, 과학기술정보통신부, 2021. 5. 13.
