공공 부문 알고리즘 규제의 구조적 침식과 한국적 시사점
공공 부문에서의 알고리즘 도입은 단순히 기술적 효율성을 높이는 수준을 넘어, 근대 국가의 핵심 통치 원리인 법치주의(Rule of Law)의 근간을 뒤흔드는 거대한 변화를 초래하고 있다. '나탈리 스무하'(Nathalie Smuha)의 저서 "Algorithmic Rule By Law: How Algorithmic Regulation in the Public Sector Erodes the Rule of Law"<https://www.cambridge.org/core/books/algorithmic-rule-by-law/algorithmic-regulation/FA9ED24FA4D9EF4D1AAF05A82A192834>는 이러한 현상을 깊이 있게 해부하며, 공공 영역의 알고리즘 규제가 민주적 절차와 법적 원칙을 어떻게 침식하고 있는지를 구체적이고 적나라하게 드러낸다.
스무하는 공공 부문에서 시행되는 알고리즘 규제를 법의 적용과 집행을 자동화하거나 지원하는 시스템으로 정의한다. 이러한 시스템은 효율성, 일관성, 객관성 증대라는 미명 아래 도입되지만, 그 작동 방식에 따라 법치주의에 상이한 위협을 가하게 된다.
알고리즘 규제의 첫 번째 유형은 ‘코드 기반 규제'(code-driven regulation)이다. 이는 기존 법규나 행정 규칙을 '만약 (조건)이라면, (행동)을 한다(if-this-then-that)'는 결정론적 논리로 변환하여, 규제 기준 설정과 행위 조절이 동시에 이루어지는 형태를 취한다. 이 유형은 시스템이 비교적 투명하고 예측 가능하기 때문에, 법적 안정성(legal certainty) 측면에서는 전통적인 법치주의 원칙과 크게 충돌하지 않을 수 있다. 그러나 스무하는 이 유형이 갖는 위험을 '기술적 결정론'(technological determinism)의 관점에서 지적한다. "규제 기준 자체가 코드에 의해 고정되고 실행의 여지가 없어지면서, 인간의 해석이나 상황적 판단이 개입할 여지가 사라진다"라고 지적한다(p. 57). 이는 법이 갖는 유연성, 즉 법관이나 행정관이 사안의 특수성을 고려하여 합목적적인 결정을 내릴 수 있는 여지를 박탈하여, 법의 정의 실현을 방해할 수 있다.
두 번째 유형이자 더 심각한 위협을 가하는 유형은 ‘데이터 기반 규제'(data-driven regulation)’이다. 이는 머신러닝, 딥러닝과 같은 인공지능 기술을 활용하여 방대한 데이터를 분석하고, 이를 통해 규제 대상의 행동을 예측하거나, 특정 행정 처분의 확률을 계산하거나, 의사 결정자에게 조언을 제공하는 방식으로 이루어진다. 이 시스템의 핵심 문제는 복잡성과 불투명성에 있다. "데이터 기반 모델은 종종 수많은 변수 간의 복잡하고 비선형적인 관계를 학습하여 결과를 도출하기 때문에, 인간은 그 예측이나 결정의 근거를 완전히 이해할 수 없는 '블랙박스' 상태에 놓이게 된다."(p. 65) 이 불투명성은 후술 할 법치주의의 핵심 원칙을 정면으로 훼손하는 주된 원인이 된다.
법치주의는 공공 권력의 행사가 법에 근거해야 하며, 그 과정이 투명하고 예측 가능해야 하며, 오류나 부당함이 발생했을 때 책임 소재를 명확히 하고 이의를 제기할 수 있는 절차를 보장해야 한다는 것을 핵심으로 한다. 알고리즘 규제는 이러한 세 가지 축을 동시에 위협한다.
첫째, 법치주의 하에서 시민들은 공공 권력의 결정에 영향을 미친 법적 기준과 사실적 근거를 이해할 수 있어야 한다(comprehensible). 데이터 기반 알고리즘의 경우, 그 결정이 방대한 데이터와 복잡한 통계 모델에 기반하기 때문에, 공공 기관조차도 결정의 정확한 추론 경로를 파악하기 어렵다. 스무하는 "이는 법치주의의 근본적인 요구사항인 '법에 따른 통치(governance by law)'가 아닌, '알고리즘에 의한 통치(algorithmic rule by law)'로의 전환을 의미한다"라고 경고한다(p. 102).
더욱이, 알고리즘 모델의 지적재산권(IP) 보호 문제와 보안(security) 문제를 이유로 알고리즘의 소스코드나 구체적인 작동 방식이 비밀에 부쳐지는 경우가 빈번하다. 이 경우, 시민은 자신이 받은 불이익이 법적 오판인지, 아니면 알고리즘의 오류나 데이터 편향(bias) 때문인지 확인할 길이 원천적으로 차단된다. "법의 지배는 결국 '법의 공개성(publicity of the law)'을 전제로 하는데, 알고리즘의 불투명성은 이러한 공개성을 사실상 부정하는 것과 같다"라고 저자는 강조한다(p. 115).
둘째, 법치주의는 국가의 모든 행위가 법적 책임의 대상이 되며, 부당한 행위나 손해가 발생했을 때 그 책임이 특정 행위 주체(공무원, 기관)에게 귀속(attributed)될 수 있어야 함을 요구한다. 알고리즘 규제 환경에서는 책임 소재가 극도로 모호해진다.
책임의 주체는 알고리즘 개발자(developer), 알고리즘을 구매하여 도입한 기관(public authority), 그리고 최종적으로 그 결정에 서명한 인간 감독관(human overseer) 사이에서 분산되거나 소멸된다. 예컨대, 사회 복지 수급 자격 박탈 결정이 알고리즘의 데이터 편향에서 비롯되었다면, 이는 누구의 잘못인가? "알고리즘이 '최적의' 결정을 내렸다는 이유로 인간 공무원이 단순히 기계의 결정을 추인하는 경우, 책임은 기술적 시스템과 인간 행위자 사이의 경계에서 표류하게 된다."(p. 150, 문단 1-2 참조) 이로 인해 알고리즘의 오류나 편향으로 피해를 입은 시민은 실질적인 보상을 요구하거나 법적 책임을 물을 대상조차 찾기 어려워진다. 저자는 이러한 현상을 '책임성 갭'(accountability gap)이라고 명명한다.
셋째, 법치주의의 마지막 보루는 부당한 공권력 행사에 대해 법원에 이의를 제기하고 구제를 받을 수 있는 다툴 권리(right to contest)와 사법적 통제(judicial review)이다. 알고리즘 규제는 이 두 가지 권리를 비효율적으로 만든다.
시민이 알고리즘 결정에 이의를 제기하기 위해서는 그 결정이 왜 내려졌는지에 대한 설명(explanation)을 받아야 한다. 앞서 언급된 블랙박스 문제로 인해, 사법 기관조차도 알고리즘의 구체적인 추론 과정을 검증하기 어렵다. 법정에서 알고리즘의 정당성을 입증해야 하는 공공 기관 역시, "자신들이 사용하는 알고리즘의 내부 작동 원리를 정확히 설명하는 데 어려움을 겪는 경우가 많으며, 이는 곧 법적 방어의 실패로 이어질 수 있다."(p. 195)
더 나아가, 알고리즘은 대규모(mass-scale)로 결정이 내려지기 때문에, 개별적인 소송으로는 알고리즘 자체의 구조적 문제를 해결하기 어렵다. 알고리즘이 내린 수천 건의 결정 중 하나에 대해 승소하더라도, 알고리즘의 기본 설계가 수정되지 않는다면, 유사한 오류는 반복될 수밖에 없다. 이는 사법적 통제가 개별적 구제에 초점을 맞추는 전통적인 방식을 넘어, 알고리즘 설계 자체에 대한 구조적 통제를 요구하게 됨을 의미하며, 이는 법원의 역할에 대한 근본적인 변화를 요구한다.
스무하는 알고리즘 규제가 단순한 법적 원칙뿐만 아니라, 민주적 정당성(democratic legitimacy)에도 위험을 초래한다고 주장한다. 이는 알고리즘이 법 집행의 '도구'에 머무르지 않고, 사실상 '정책 결정'(policy making)의 역할을 수행하기 때문이다.
알고리즘 설계자는 데이터를 기반으로 사회적 가치와 우선순위를 반영하는 암묵적인 정책 결정을 내리게 된다. 예컨대, 특정 지역의 범죄 예측 알고리즘이 빈곤층 거주 지역에 더 많은 경찰력을 배치하도록 학습된다면, 이는 경찰 자원 배분에 관한 중요한 사회 정책적 결정을 기술적으로 구현하는 것과 같다. "이러한 알고리즘의 내재된 가치 판단은 민주적으로 선출된 입법부나 책임 있는 행정부에 의해 투명하게 논의되고 승인된 것이 아니며, 이는 통치 행위의 정당성을 훼손한다."(p. 230)
저자는 유럽연합(EU)의 디지털 아젠다를 분석하며, 기술 혁신과 법치주의 보호라는 두 가지 목표가 불균형(misalignment) 상태에 있음을 날카롭게 비판한다. 기술 개발을 우선시하는 정책 방향은 종종 법치주의에 대한 위험을 간과하게 만들고, 이로 인해 알고리즘의 도입이 충분한 민주적 논의와 법적 검토 없이 이루어지고 있다고 지적한다(p. 255). 이는 법치주의를 지키기 위해서는 기술적 중립성을 넘어선 적극적인 입법 및 규제적 개입이 필요함을 의미한다.
스무하의 연구는 공공 부문 알고리즘의 도입이 가져오는 위험이 단순한 기술적 오류가 아닌, 법치주의의 구조적 침식에 있음을 명확히 보여준다. 알고리즘 규제는 불투명성, 책임성 갭, 사법 통제 회피 등의 문제를 통해 시민의 기본권을 위협하며, 민주적 정당성이 결여된 '알고리즘 통치'를 강화한다. 저자가 궁극적으로 제안하는 해결책은 법치주의를 알고리즘 통치의 핵심 설계 원칙(design principle)으로 통합하는 것이다. 즉, 알고리즘이 개발 및 배치되는 모든 단계에서 투명성, 다툴 권리, 인간의 감독 가능성을 강제하는 법적 장치를 마련해야 한다(p. 280).
이러한 논의는 한국의 공공부문 규제 환경에 매우 구체적이고 직접적인 시사점을 제공한다. 한국 역시 복지, 세금, 교통 등 다양한 공공 영역에서 인공지능과 데이터 기반 시스템을 도입하고 있다. 스무하의 연구를 바탕으로 볼 때, 한국은 다음 세 가지 방면에서 심각한 위험에 직면할 수 있다. 첫째, 알고리즘 의사 결정에 대한 '설명 가능성'(explainability)을 법적으로 강제하는 장치가 미흡하다면, 국민은 부당한 행정 처분에 대해 실질적으로 이의를 제기할 수 없다. 둘째, 알고리즘이 유발한 피해에 대한 국가 배상(state compensation) 및 책임 귀속의 법리가 불분명하여, 피해자가 구제받기 어려울 수 있다. 셋째, 알고리즘 도입 과정이 행정부의 효율성 논리에 매몰되어 국회 및 시민 사회의 충분한 민주적 감시와 논의를 거치지 않는다면, 그 정당성이 처음부터 결여될 위험이 있다. 한국의 입법 기관은 인공지능을 활용한 공공 행정 결정에 대해 인간의 실질적인 개입(meaningful human review)을 의무화하고, 알고리즘의 설계 및 운영의 투명성을 보장하는 강력한 법적 기준을 시급히 확립해야 할 필요가 있다.