27. AI는 만병통치약이 아니다.
호주 Robodebt 사태로 본 AI 도입 함정과 성공적인 안착 조건
행정 현장에 인공지능을 더한다는 말을 들으면, 우리는 흔히 “효율”이라는 단어부터 머릿속에 떠올립니다. AI를 활용한 행정업무 자동화는 기존의 반복적이고 단순한 업무 처리 방식을 혁신적으로 바꿔줄 것이라는 기대 때문입니다. 예산 절감을 통해 재정 건전성을 높이고, 업무 처리 속도를 획기적으로 향상시켜 시민들의 대기 시간을 줄이며, AI 기반의 챗봇과 온라인 서비스 도입으로 민원 서비스를 24시간 내내 중단 없이 제공할 수 있다는 장밋빛 전망이 우리를 설레게 합니다. 그 결과 많은 정부 기관이 앞다투어 인공지능을 행정 현장에 도입하기 시작했습니다.
그러나 인공지능 기술을 신중한 검토 없이 무조건 도입하는 것이 반드시 행정 효율과 혁신을 보장하지 않는다는 사실은, 호주에서 발생한 로보데트(Robodebt) 사태가 매우 적나라하게 보여주었습니다. 로보데트란 호주 정부가 추진했던 복지수급 관리 시스템으로, 복지 수급자가 신고한 소득과 호주 국세청이 보유한 실제 근로소득 자료의 차이를 자동으로 비교하고 분석하는 방식으로 설계되었습니다. 정부는 이 시스템을 도입하면서 연간 근로소득을 단순히 26주로 나눈 평균값을 기준으로 자동으로 부채를 계산하도록 했습니다. 그러나 이 평균값 방식은 개별 수급자의 실제 생활이나 근로 패턴을 전혀 고려하지 못했습니다. 예를 들어 비정기적이거나 일시적인 근로소득이 발생한 사람들은 이 방식에 따라 과장된 부채가 부과되는 등 현실과 동떨어진 결과를 받아들여야 했습니다.https://www.sbs.com.au/language/korean/ko/podcast-episode/scott-morrison-says-the-government-has-great-regrets-about-the-unlawful-robodebt-scheme/432nea939
그 결과, 실제 부정수급과는 아무런 관계가 없는 수십만 명의 시민들에게 잘못된 부채 고지서가 무차별적으로 발송되었습니다. 더욱 심각했던 것은, 정부가 AI 시스템에 전적으로 의존하면서 사람이 직접 데이터를 점검하거나 이의신청을 처리할 수 있는 채널을 사실상 봉쇄했다는 점입니다. 민원인들은 기계적인 결과에 대해 직접적인 설명을 들을 수도 없었고, 오류가 발생해도 정정하기 위한 실질적인 대화조차 불가능한 상태에 놓였습니다. 이 과정에서 가장 큰 타격을 입은 것은 사회적 취약계층과 디지털 접근이 어려운 노년층과 같은 사람들이었습니다. 이들은 본인의 소득 상황을 온라인 시스템에 입력하거나, 허위로 계산된 부채를 바로잡기 위한 증빙 자료를 기한 내 제출하는 일조차 버거웠고, 결국 실제와 다른 부채를 떠안고 고통받을 수밖에 없었습니다.
결국, 호주 정부는 대규모의 법적 분쟁과 사회적 비판에 직면했고, 잘못된 부채 청구를 당한 시민들에게 수십억 달러 규모의 환급금을 돌려주게 되었습니다. 하지만 이미 사회적 신뢰는 크게 손상되었고, 정부의 정책 추진 능력에 대한 국민들의 근본적인 불신을 남겼습니다.
로보데트 사태는 자동화 시스템이 인간의 판단과 감독 없이 기계적으로 운영될 때 어떤 파국적인 결과를 초래할 수 있는지를 선명하게 보여준 사례였습니다. 결국 인공지능 기술을 행정에 활용하려면 기술 자체의 효율성만큼이나 그 과정에서 반드시 지켜져야 할 법적·윤리적 원칙, 사람의 개입이 가능한 절차, 그리고 오류를 바로잡을 수 있는 투명한 책임 체계가 반드시 동반되어야 한다는 교훈을 남겼습니다.
문제의 핵심은 기술 자체가 아닙니다. AI든 RPA든, 그것을 설계하고 감독할 법·제도·조직 문화가 뒷받침되지 않으면 오히려 위험이 증폭됩니다. 첫째, 행정은 법률 유보 원칙 위에 서 있습니다. 아무리 정교한 알고리즘이라도 법이 요구하는 ‘절차적 정당성’과 ‘실질적 타당성’을 확보하지 못하면 그 결정은 위법이 됩니다. 로보데트가 평균화 산정 방식을 쓰기 전에 사회보장법을 개정했더라면 사태는 달라졌을 것입니다. 둘째, AI가 의존하는 데이터 품질과 편향 문제도 치명적입니다. 네덜란드의 SyRI(사회보장 부정수급 추적) 시스템은 특정 이민자 집단에 대한 차별적 표적 수사를 야기했고, 결국 법원이 인권 침해를 이유로 사용 금지를 명령했습니다. 국내에서도 여러 지자체가 행정데이터를 ML 모델에 투입해 주민 체납 위험을 예측하지만, 소득·주거 형태처럼 결측이 잦고 편향된 변수를 그대로 쓰면 취약계층 낙인효과만 키울 뿐입니다.
셋째, AI 도입은 조직 내부 권한 구조를 바꿉니다. 알고리즘이 ‘사실상 결정권자’가 되면 책임이 흐려집니다. 담당 공무원은 “시스템 결과”를 이유로 설명을 회피하고, 민원인은 오류를 입증할 자료에 접근조차 못 하는 상황이 빈번해집니다. EU AI법안이 “고위험 행정 AI”에 대해 투명성·인간 감독·설명가능성을 의무화한 것도 이러한 책임 공백을 막으려는 조치입니다. 끝으로, 기술 변화 속도 자체가 불확실성을 키웁니다. 오늘의 모델이 내일이면 구식이 되는데, 장기적 유지‧보수 예산과 데이터 거버넌스를 세우지 않은 채 도입부터 서두르면 ‘새 시스템이 낡은 법과 충돌’하는 유탄을 피하기 어렵습니다.
행정 혁신에 인공지능이 불필요하다는 것은 결코 아닙니다. 오히려 인공지능은 행정 효율성을 높이고, 공무원의 반복적인 업무를 덜어주며, 시민들에게 보다 신속하고 편리한 서비스를 제공하는 데 강력한 도구가 될 수 있습니다. 하지만 중요한 것은, 인공지능은 어디까지나 행정을 보조하고 지원하는 ‘조력자’의 역할에 머물러야지, 사람의 판단과 책임까지 전적으로 대신하는 ‘대체자’가 되어서는 안 된다는 점입니다. 이 원칙을 지키지 않으면, 자칫 잘못된 판단이 무비판적으로 받아들여지고, 책임 소재마저 희미해져 결국 행정 신뢰가 흔들리는 위험을 초래할 수 있습니다.
이를 위해 먼저, 행정 시스템에 인공지능을 적용할 때 반드시 인간 심사가 개입하는 단계, 특히 최종 결정이나 중요한 판단을 내리는 단계는 사람이 책임지고 수행하도록 명확히 설계해야 합니다. 예컨대 복지 수급 결정이나 세금 부과처럼 시민의 권리와 의무에 직접 영향을 미치는 문제는 기계가 결과를 도출하더라도 반드시 담당 공무원의 최종 승인을 거치도록 해야 합니다. 또한 민원인이 AI가 내린 결정에 불복하거나 이의를 제기할 수 있는 공식적인 창구를 반드시 마련해, 시스템이 만든 오류나 불합리한 결과를 정정할 수 있도록 해야 합니다.
둘째, AI 시스템의 도입 여부를 검토하고 예산을 편성하는 초기 단계부터, 데이터 품질과 법률적 적합성을 체계적으로 점검할 수 있는 엄격한 표준 절차를 마련해야 합니다. 이 표준은 AI 시스템이 실제 적용될 때 어떤 데이터를 활용하며, 그 데이터가 충분한 품질과 대표성을 갖추었는지, 특정 집단에 불공정한 결과를 초래할 가능성은 없는지 등을 사전에 세심하게 평가하는 기준을 포함해야 합니다. 또한 법적 측면에서 해당 AI 시스템이 헌법, 개인정보 보호법, 행정절차법 등 관련 법률과 충돌하지 않는지 철저히 검토하고, 그 결과를 국회와 감사원, 시민사회와 같은 독립적인 기관이 검증하고 공개적으로 토론할 수 있도록 해야 합니다.
셋째, 새로운 AI 시스템을 도입할 때 처음부터 전면적으로 자동화를 추진하기보다는 ‘부분적이고 점진적인 자동화’ 방식을 적용해야 합니다. 즉, 우선 비교적 오류 발생 가능성이 적고 단순 반복적인 업무부터 인공지능을 활용하여 성과와 문제점을 신중하게 평가한 뒤, 이를 바탕으로 조금씩 자동화 범위를 확장해 나가야 합니다. 이렇게 단계적으로 접근하면 시행착오로 인한 피해를 최소화할 수 있고, 문제 발생 시 빠르게 수정·보완하여 시스템의 안정성을 높일 수 있습니다.
넷째, AI 시스템의 알고리즘 구조와 판단 기준, 그리고 주기적인 업데이트 내역을 상세하게 기록하고 투명하게 공개해야 합니다. 시민과 외부 전문가들이 시스템의 작동 방식과 판단의 근거를 이해할 수 있게 함으로써, 흔히 지적되는 ‘블랙박스 행정’ 논란을 미리 방지할 수 있습니다. 특히 시스템이 어떤 이유로 특정 결정을 내렸는지에 대한 설명이 가능하도록 설계해야 합니다. 이를 통해 행정의 신뢰성은 물론 시민들의 납득 가능성과 권리구제 가능성도 한층 높아질 수 있습니다.
마지막으로, AI 시스템을 도입하더라도 모든 시민이 기술에 쉽게 접근할 수 있는 것은 아닙니니다. 디지털 소외계층이나 고령층 등 취약계층은 디지털 행정 서비스 이용에 어려움을 겪을 가능성이 큽니다. 따라서 AI 중심의 디지털 절차와는 별도로 취약계층이 쉽게 접근할 수 있는 별도의 오프라인 채널을 반드시 함께 운영해야 합니다. 이를 통해 디지털 격차가 행정 격차로 이어지는 것을 예방하고, 모든 시민이 공정하게 서비스를 받을 수 있도록 보장해야 합니다.
결국, 인공지능 기술이 행정 혁신이라는 본래 목표를 달성하려면 이와 같은 신중한 접근이 필요합니다. 기술 도입이 목표가 아니라, 기술이 행정의 원칙과 가치, 그리고 사람의 권리를 보호하고 증진시키는 방향으로 설계되고 운영되어야 비로소 행정 혁신은 성공적으로 이루어질 수 있습니다.
요컨대 AI는 행정 효율성을 높일 강력한 도구가 될 수 있지만, 그것이 만병통치약이 되려면 사람·법·데이터·책임이라는 네 개의 다리가 균형을 이뤄야 합니다. 네 다리 중 하나라도 부실하면, 혁신은커녕 로보데트와 같은 ‘기계화 폭주’가 행정을 덮칠 수 있습니다. 따라서 우리는 “얼마나 빨리 도입할 것인가”보다 “얼마나 튼튼한 안전망을 갖추고 도입할 것인가”를 먼저 고민해야 합니다.
