18. AI 판사는 정의로운가?
사법의 효율성과 공정성 사이, 우리가 선택해야 할 미래
"영화 《타임 투 킬(A Time to Kill)》의 마지막 법정. 흑인 소녀를 잔인하게 유린한 백인 우월주의자들을 아버지가 직접 처단한, 사실관계가 명백한 살인 사건 앞에서 변호사 제이크 브리갠스는 최후 변론을 시작한다. 그는 법리나 증거가 아닌, 끔찍한 범죄의 재구성을 통해 배심원들의 감정에 호소한다. “눈을 감아보시오.” 그의 낮은 목소리와 함께 법정 안의 모두는 처참하게 짓밟힌 한 소녀의 고통을 생생하게 마주한다. 그리고 마침내 변호사는 백인 배심원들의 심장을 향해 마지막 질문을 던진다. “자, 이제 그녀가 백인이라고 상상해 보시오(Now imagine she's white).” 이 한마디는 법정의 모든 논리를 전복시키고, 인종적 편견의 벽을 넘어 인간의 가장 원초적인 공감과 분노를 이끌어내며 기적 같은 무죄 평결을 만들어낸다."
만약 이 법정에 인간이 아닌 인공지능(AI) 판사가 앉아 있었다면 어땠을까? AI는 입력된 사실관계 — 피고인이 계획적으로 총기를 구매했고, 피해자들을 기다려 살해했다 — 와 방대한 판례 데이터를 분석하여 감정의 개입 없이 가장 확률 높은 결론을 도출했을 것이다. AI의 알고리즘에는 ‘분노’나 ‘공감’의 변수가 없으며, 배심원의 편견을 역이용하는 변호사의 수사학을 이해하지 못한다. AI에게 “그녀가 백인이라고 상상하라”는 문장은 논리적 오류를 내포한, 분석 불가능한 데이터에 불과하다. 결국 AI는 법 기술적으로 가장 합리적인 ‘유죄’를 선고했을 것이고, 판결문 어디에도 인간의 고뇌나 시대의 정의는 담기지 않았을 것이다.
이 가상의 재판은 AI가 사법의 영역에 들어설 때 우리가 마주할 가장 근본적인 딜레마를 드러낸다. AI는 사법 시스템의 효율성과 일관성을 비약적으로 증폭시키는 가장 강력한 도구이지만,¹ 바로 그 비인간적인 합리성 때문에 인간 사회의 가장 깊은 가치를 위협하는 ‘양날의 검’이 될 수 있다. 법이 단지 조문의 기계적 적용이 아니라 시대의 상식과 공동체의 윤리를 담아내는 그릇이라면, 과연 우리는 AI에게 ‘정의’의 저울을 맡길 수 있는가? 철학자들의 사고 실험이었던 트롤리 딜레마가 이제 법정이라는 현실의 무대 위에서 펼쳐지는 지금, 우리는 효율성과 공정성이라는 두 가치 사이에서 우리 사회가 나아갈 미래를 선택해야 할 중대한 기로에 섰다.
알고리즘의 법복, 그 무게를 견딜 수 있는가?
1. AI 판사의 알고리즘은 누가 만드나? ― 공정성의 순환 논법
AI 사법 시스템이 마주할 가장 근본적인 도전은 기술의 정확성이 아닌 대중의 ‘신뢰’라는 문턱에 있다. AI가 내린 판결이 아무리 법 기술적으로 완벽에 가깝다고 해도, 그 결론이 국민의 법감정이나 사회적 기대와 어긋나는 순간 그 판결의 권위는 즉각적인 불신에 직면하게 될 것이다. 인간 판사의 판결에 대한 불복은 해당 판사 개인의 자질이나 특정 법 해석에 대한 비판으로 이어지지만, AI 판사의 판결에 대한 불복은 그 차원을 달리한다. 우리는 감정도, 인격도 없는 알고리즘에게 직접 책임을 물을 수 없기 때문에 비판의 화살은 필연적으로 AI 시스템의 보이지 않는 결함, 즉 ‘편향성(Bias)’을 향하게 된다.² 결국 “판결이 마음에 들지 않는다”는 감정적 불복이 “AI 알고리즘이 편향되었기 때문”이라는 논리적 반박의 외피를 쓰게 되는 것이다.
이러한 불신 구조는 해결 불가능에 가까운 ‘공정성의 순환 논법(循環論法)’을 만들어낸다. AI의 판단 근거가 블랙박스(Black Box) 내부에 있는 한, 시스템 개발사나 사법부가 “우리의 알고리즘은 편향되지 않았다”라고 아무리 주장해도 대중을 설득하기란 거의 불가능하다. 영국의 법률가이자 저술가인 프랭크 파스콸레(Frank Pasquale)가 그의 저서 『블랙박스 사회(The Black Box Society)』에서 경고했듯, 비밀스러운 알고리즘이 내리는 결정에 대해 우리는 출구 없이 그저 믿거나 거부할 수밖에 없는 정보의 비대칭 상태에 놓인다.³ 결국 AI 판결에 대한 모든 공방은 ‘알고리즘이 특정 집단에 불리하게 설계되었다’, ‘학습 데이터가 오염되었다’는 식의 의심을 전제로 진행될 수밖에 없으며, 이는 AI 사법 시스템이 매 판결마다 자신의 공정성을 원점에서부터 다시 증명해야 하는 끝없는 시험대에 오르는 것과 같다.
이는 AI 사법 시스템의 존립 자체를 위협하는 ‘시스템적 위기’로 번질 수 있다는 점에서 인간 판사의 경우와 근본적으로 다르다. 한 명의 인간 판사가 내린 오판은 사법 시스템의 견고한 상소 제도를 통해 시정될 수 있으며, 사회적 공론을 거쳐 법률을 개정하는 등 ‘시스템의 개선’으로 이어진다. 그러나 AI 판사가 내린 단 하나의 치명적인 오판은 AI 사법 시스템 전체에 대한 신뢰를 붕괴시켜, 시스템을 개선하는 것이 아니라 ‘전면 폐기’해야 한다는 극단적인 여론으로 비화될 수 있다. 수학자 캐시 오닐(Cathy O'Neil)이 지적했듯 빅데이터 경제의 원동력인 수학 모형 프로그램도 ‘인간의 선택’에 기반한 것이고 이런 모형들 또한 ‘수학에 깊이 뿌리내린 지극히 개인적인 의견’에 불과하므로,⁴ 잘못된 알고리즘(수학 모형)은 오류를 수정하는 것이 아니라 오히려 확산시키고 고착화하는 ‘대량살상 수학무기(Weapons of Math Destruction)’가 될 수 있으며, 시민들은 이 점을 우려하기 때문이다. 결국 AI에게 정의의 저울을 맡기려는 시도는 판결 하나하나가 사법 시스템 전체의 운명을 뒤흔드는 살얼음판 위를 걷는 것과 같은 아슬아슬한 여정이 될 수밖에 없다.
2. 효율성의 유토피아, 공정성의 디스토피아 ― AI 사법의 두 얼굴
AI 판사가 제시하는 가장 매력적인 비전은 ‘신속하고 저렴한 정의’의 구현이다. 24시간 지치지 않는 AI는 사건 처리를 획기적으로 가속화하여 ‘지연된 정의는 정의가 아니다’라는 사법의 오랜 문제를 해결할 잠재력을 가졌다. 실제로 에스토니아는 7,000유로 미만의 소액 분쟁을 AI가 처리하는 로봇 법관(robot judge) 프로젝트를 시험하고 있으며,⁵ 중국의 지능형 스마트 법원은 AI를 활용해 디지털 관련 쟁점(예 : 온라인 쇼핑 분쟁)과 같은 특정 사건 다수를 디지털 법원을 통해 해결하며 업무 효율을 극대화하고 있다.⁶ 인간 판사의 주관이나 감정적 판단을 배제하고 오직 데이터에 기반한 일관된 판결을 내림으로써 ‘유전무죄 무전유죄’라는 사법 불신을 해소하고, 비용 문제로 소송을 포기했던 시민들에게 사법 서비스의 문턱을 낮춰줄 것이라는 기대는 AI 사법이 그리는 유토피아적 청사진이다.
그러나 이 눈부신 청사진의 이면에는 AI가 인간 사회의 가장 깊숙한 편견을 학습하고 증폭시켜 새로운 차별을 만들어내는 디스토피아적 위험이 도사리고 있다. AI는 정의(正義)를 ‘이해’하는 것이 아니라, 주어진 데이터 속에서 가장 효율적인 ‘패턴’을 찾아 미래를 예측할 뿐이다. 만약 과거의 판결 데이터가 특정 인종이나 지역 거주자에게 체계적으로 더 무거운 형량을 선고해 왔다면, AI는 이를 정의로운 결과가 아닌 ‘예측 정확도가 높은’ 패턴으로 학습하여 미래의 유사한 사건에서 그 패턴을 기계적으로 재현하고 강화한다.⁷ 미국의 양형 예측 알고리즘 ‘COMPAS’가 흑인에게 체계적으로 높은 재범 위험 점수를 부여하여 논란이 된 것처럼,⁸ AI의 객관성은 과거의 불평등을 미래에 영속시키는 자동화된 낙인 시스템으로 변질될 수 있다.
이처럼 AI가 만들어내는 차별은 일회성 오류로 그치지 않고 사회 구조 자체를 왜곡하는 편향 피드백 루프(Bias Feedback Loop)를 통해 스스로를 강화한다. AI의 편향된 결정(예 : 특정 지역 주민에 대한 높은 재범 위험도 예측)은 해당 지역에 대한 경찰의 감시 강화나 사회적 낙인으로 이어지고, 이는 다시 해당 지역 주민의 체포율을 높이는 데이터로 축적된다. 이 새로운 데이터는 AI의 기존 편견이 ‘정확했다’고 재확인시켜주는 근거가 되어 사회적 불평등을 영구적으로 재생산하고 심화시키는 악순환의 고리를 만든다.⁹ 결국 AI는 단순히 과거의 차별을 반영하는 거울을 넘어 보다 깊고 견고한 차별의 벽을 쌓아 올리는 자동화된 건축가가 될 위험을 내포한다.
3. 설명 불가능한 판결 ― 법의 지배를 위협하는 블랙박스
법의 지배(Rule of Law) 원칙의 핵심 중 하나는 모든 판결이 투명한 법률과 절차에 따라 이루어져야 하며, 당사자가 그 이유를 이해하고 불복할 수 있도록 ‘설명 가능해야 한다’는 것이다. 그러나 딥러닝 AI의 판단 과정은 수십억 개의 변수가 복잡하게 얽힌 신경망 속에서 이루어지므로, 그 결론에 이르는 과정을 인간이 이해할 수 있는 언어로 명확히 설명하기가 극히 어려운 블랙박스 문제를 가진다.¹⁰ 만약 AI 판사가 “데이터 분석 결과 유죄 확률 95%이므로 징역 5년을 선고한다”라고만 판결한다면, 피고인은 무엇을 근거로 자신의 무고를 주장하고 항소해야 할까? 이는 헌법이 보장하는 공정한 재판을 받을 권리와 적법절차의 원칙을 근본적으로 침해한다.¹¹
AI의 이러한 블랙박스 특성은 ‘법률 추론’의 본질과도 충돌한다. AI의 핵심 기술인 머신러닝은 법의 정신이나 논리적 인과관계를 이해하여 판결하는 것이 아니라, 방대한 데이터 속에서 통계적 상관관계를 찾아내어 가장 ‘확률 높은’ 결과를 예측하는 방식으로 작동한다. 즉, AI는 법리를 해석하고 적용하는 것이 아니라 주어진 사실관계와 가장 유사한 과거 판례의 ‘결과를 모방’할 뿐이다. 이는 인간 판사가 법의 정신을 숙고하고 사회적 맥락을 고려하여 결론을 내리는 사법적 판단 과정과는 근본적으로 다르다. 설명 불가능한 기계의 예측에 우리의 자유와 재산을 맡기는 것은 법의 지배를 ‘코드의 지배(Rule of Code)’로 대체하는 위험한 첫걸음이 될 수 있다.
더욱이 AI 판사의 오판으로 인해 돌이킬 수 없는 피해가 발생했을 때, 그 법적 책임을 누구에게 물어야 할지에 대한 명확한 기준이 없는 ‘책임의 공백’ 문제는 사법 시스템의 신뢰를 뿌리부터 흔든다.¹² 그 책임이 편향된 데이터를 제공한 기관에 있는지, 알고리즘을 설계한 개발사에 있는지, 아니면 시스템을 도입하고 감독한 사법부에 있는지 가려내기는 극히 어렵다. 피해자는 존재하지만 누구도 온전한 책임을 지지 않는 역설적인 상황은 법이 추구하는 정의의 실현과 피해 구제라는 핵심 기능을 마비시킬 수 있다. 이는 AI라는 새로운 행위자의 등장이 기존의 책임 법리로는 해결할 수 없는 근본적인 도전을 제기하고 있음을 명백히 보여준다.
인간 통제의 고삐 ― 책임 있는 AI 사법을 위한 설계
AI가 사법의 영역에 들어서는 것을 피할 수 없다면, 우리는 기술의 질주에 법과 윤리의 고삐를 채워야 한다. 그 핵심은 AI의 자율성을 인정하되 최종적인 책임과 윤리적 판단의 주체는 인간이어야 한다는 의미 있는 인간의 통제(Meaningful Human Control) 원칙을 확립하는 것이다. 이를 위해 AI 판사의 역할을 결정자가 아닌 ‘조력자’로 명확히 규정하고, 인간 판사가 최종 검토하고 승인하는 인간 감독형 모델을 법제화해야 한다. 특히 신체의 자유를 박탈하는 중대한 형사사건에서는 AI의 역할을 판결 예측이 아닌 자료 검색이나 판례 분석 등 보조적 기능으로 엄격히 제한하고, 인간 판사가 AI의 제안을 구속 없이 거부하거나 수정할 명시적 권한을 보장해야 한다.
AI의 위험을 사후적으로 교정하는 것만으로는 충분하지 않으며, 개발 단계부터 공정성과 투명성을 내재화하는 사전적 규제 체계를 구축해야 한다. 사법 시스템에 AI를 도입하기 전, 해당 AI가 인권과 사회에 미칠 잠재적 위험을 평가하는 ‘인공지능 영향 평가(AI impact assessment, AIIA)’를 의무화하고, 그 결과를 투명하게 공개하여 사회적 합의를 거치도록 해야 한다.¹³ 또한, AI의 블랙박스 문제를 해결하기 위해 판단의 근거를 인간이 이해할 수 있는 형태로 제시하는 ‘설명가능 AI(Explainable AI, XAI)’ 기술 개발에 국가적 역량을 집중하고, 이를 사법 AI 시스템의 필수 요건으로 규정해야 한다.¹⁴ 이는 사법 신뢰를 확보하고 기술 주도권을 쥐는 핵심 열쇠가 될 것이다.
이러한 법적·기술적 안전장치의 설계는 단순히 한 국가 내부의 사법 시스템을 효율화하는 것을 넘어 21세기 디지털 시대의 ‘정의의 소스코드’를 누가 작성할 것인가를 둘러싼 지정학적 경쟁과 직결된다. AI 사법 경쟁은 ‘신뢰할 수 있는 AI’에 대한 국제 규범을 누가 선도할 것인가에 대한 패권 경쟁을 내포하기 때문이다. 결국 AI 판사를 둘러싼 논의는 법·경제·지정학이 교차하는 거대한 체스판 위의 한 수를 뜻한다. AI라는 강력한 증폭기는 사법 시스템의 효율성을 극대화하는 동시에 그 시스템을 통제하는 국가에게 막대한 ‘구조적 권력’을 안겨주기 때문이다. 신뢰할 수 있고 효율적인 AI 사법 시스템을 가장 먼저 구축하고 기술 표준을 선점하는 국가는 자국의 법률적 가치와 데이터 거버넌스 모델을 전 세계에 수출하는 ‘사법 운영체제(Judicial O/S)’의 공급자가 될 수 있다.
이때 우리가 지향해야 할 ‘경쟁력 있는 사법 시스템’이 무엇인지에 대한 고민이 필요한데, 그 힌트는 바로 우리 대한민국헌법에서 찾을 수 있다. 우리 헌법은 독립된 법관과 법률에 의한 재판을 받을 권리, 공개재판을 받을 권리와 무죄 추정의 원리를 규정하고 있는바 이는 ‘사법의 공정성’과 관계되고, 신속한 재판을 받을 권리를 규정하고 있는바 이는 ‘사법의 효율성’과 관계된다. 이러한 사법의 공정성과 효율성은 대립관계가 아닌 상호 보완적인 관계로, 두 가치가 묘하게 어우러질수록 사법의 경쟁력도 배가된다. AI 판사 논의는 이 같은 사법 시스템의 경쟁력을 뒤흔들 중요한 이슈다.
우리가 어떤 AI 사법 시스템을 선택하고 구축하느냐의 문제는, 단순히 국내 사법 서비스의 미래를 결정하는 것을 넘어 다가올 AI 패권 시대의 거대한 흐름 속에서 대한민국의 주권과 위상을 결정짓는 중대한 전략적 선택이 될 수밖에 없다. 그것은 기술의 힘 앞에서 인간의 존엄성과 민주적 가치를 어떻게 지켜낼 것인지에 대한 우리 시대의 철학적 결단이다. 기술이 인간을 지배하는 것이 아니라 인간의 정의로운 가치가 기술을 올바른 방향으로 이끄는 사회. 이것이야말로 우리가 AI 시대에 구축해야 할 법의 새로운 역할이자 흔들리지 않는 시대적 소명일 것이다.
¹ 정채연, 「사법절차 및 사법서비스에서 인공지능 기술의 도입 및 수용을 위한 정책 연구」, 사법정책연구원, 2021. 8. 26. 113쪽.
² 재범위험성 예측 알고리즘이 인과관계가 아닌 통계적 상관관계에 바탕을 두고 있으며, 개발 과정에 관여하는 개인의 편향이 알고리즘에 반영되어 객관성에 결함을 가져온다는 지적이 있다. 이슬아, 「인공지능 판사 앞의 7가지 숙제」, 사법발전재단, 2023, vol.1, no.64, 통권 64호, 675-677쪽 참조.
³ 프랭크 파스콸레 지음, 『블랙박스 사회』, 이시은 옮김, 안키고네, 2016, 87-92쪽 참고.
⁴ 캐시 오닐 지음, 『대량살상 수학무기』, 김정혜 옮김, 흐름출판, 2017, 15-16쪽 및 45쪽.
⁵ 정채연, 앞의 보고서, 71쪽.
⁶ 정채연, 앞의 보고서, 12쪽.
⁷ 이슬아, 앞의 논문, 675쪽.
⁸ 구본권, 「편견·차별 부르는 AI 알고리즘…해법은 있을까」, 한겨레, 2019. 10. 27., https://www.hani.co.kr/arti/science/future/914757.html (최종 방문일 : 2025. 9. 28.)
⁹ 이슬아, 앞의 논문, 690-691쪽.
¹⁰ 김성용·정관영, 「인공지능의 개인정보 자동화 처리가 야기하는 차별 문제에 관한 연구」, 서울대학교 法學 제60권 제2호. 2019년 6월, 326쪽.
¹¹ 법원 인공지능연구회는 가이드라인에서 인공지능의 블랙박스 특성을 지적하며, 이로 인해 국민의 재판청구권, 법관의 독립성, 공정, 평등, 적법절차 등 헌법적 가치가 침해되지 않도록 유의해야 한다고 강조한다. 법원 인공지능연구회, 「사법에서의 인공지능 활용에 관한 가이드라인」, 2025. 2., 8쪽.
¹² 이런 위험성을 고려하여 법원 인공지능연구회의 가이드라인은 인공지능 결과물에 오류가 있는 경우 법관이 법적, 윤리적 책임을 질 수 있음을 인지해야 한다고 명시하고 있다. 법원 인공지능연구회, 앞의 가이드라인 10쪽.
¹³ 신선영, 「미국, ‘알고리즘 책임법안(Algorithmic Accountability Act)’ 발의」, 한국지능정보사회진흥원, 디지털 법제 브리프 제22-1호(2022. 3.) 참고.
¹⁴ 이슬아, 앞의 논문, 695쪽 참조.
