규정, 의무, 한계 및 시사점
왕멍루(Wang Menglu)의 연구논문 "REGULATION OF ALGORITHMIC DECISION-MAKING IN
CHINA: DEVELOPMENT, PROBLEMS AND IMPLICATIONS"(Singapore Journal of Legal Studies, September 2024)는 중국의 알고리즘 의사결정 규제 체제를 포괄적으로 분석하고, 그 주요 메커니즘, 강점, 및 한계를 유럽연합(EU), 미국(US), 영국(UK), 싱가포르(Singapore) 등 해외 주요 관할권의 경험과 비교하여 평가한다. 이를 분석함으로써 우리나라 알고리즘 규제에 대한 시사점을 도출한다.
중국에서는 알고리즘 추천 서비스를 제공하는 주체는 알고리즘의 투명성과 작동 원리에 대한 명확한 공개 의무를 진다. 중국의 '알고리즘 생성 추천에 관한 규정'(Provisions on Algorithm-generated Recommendations 2021, 이하 '2021 규정'이라고 함) 제16조에 따르면, 서비스 제공자는 알고리즘의 기본 원리, 목표 및 작동 메커니즘을 적절한 방식으로 제공하고 표시해야 한다. 또한, 알고리즘이 내리는 결정이 사용자에게 불투명해져 오류나 편향을 찾기 어렵게 만드는 문제에 대응하여, 같은 규정 제17조는 알고리즘 적용이 "사용자의 권익에 중대한 영향을 미칠 때, 서비스 제공자는 설명을 제공하고 상응하는 책임을 져야 한다."라고 명시한다. 특히, 생성형 AI 서비스에 대한 잠정 조치(Interim Measures for Generative AI Services 2023, 이하 '2023 조치'라고 함) 제10조는 생성형 인공지능 서비스 제공자가 "서비스의 목표 그룹, 응용 시나리오 및 목적을 명확히 하고 공개해야 하며, 사용자가 서비스에 과도하게 의존하거나 몰입하는 것을 방지하기 위한 적절한 조치를 취해야" 함을 규정하여, 새로운 AI 기술 분야의 책임성을 강조한다(p. 11).
알고리즘 의사결정 과정의 공정성은 유사한 상황에 놓인 개인이나 기업에 대한 체계적인 차별을 방지하는 핵심 원칙으로 작용한다. 2021 규정 제17조에 따라 서비스 제공자는 사용자의 개인적 특성을 대상으로 하지 않는 옵션이나 서비스 수신 중단 옵션 및 사용자 라벨을 선택하거나 삭제하는 기능을 제공해야 한다. 나아가 같은 규정 제21조는 상품이나 서비스를 판매할 때 소비자의 공정한 거래 권리를 보호하도록 명시하며, 소비자의 선호도, 습관 및 기타 특성을 기반으로 거래 가격이나 다른 거래 조건에서 불합리한 차별 대우를 제공하기 위해 알고리즘을 사용하는 것을 금지한다. 생성형 인공지능 서비스 제공자 역시 2023년 조치 제4조 제2항에 의거하여 알고리즘 설계, 훈련 데이터 선택, 모델 생성 및 최적화 과정에서 인종, 성별, 연령, 직업 등을 기반으로 한 차별에 반대하는 조치를 취해야 하는 의무를 지닌다(p. 11).
알고리즘의 무결성과 서비스 연속성을 보장하는 보안 원칙 역시 강조된다. 2021 규정 제7조는 서비스 제공자가 "기술 윤리 및 알고리즘 메커니즘 검토, 보안 평가 및 모니터링, 데이터 보호 및 사건 대응"과 같은 적절한 관리 시스템과 기술적 조치를 이행해야 함을 요구하며, 같은 규정 제28조는 관련 당국의 보안 평가 및 검사를 위해 로그 파일을 보관하고 필요한 기술적 지원을 제공해야 한다고 명시한다(p. 11). 이는 알고리즘의 보안 및 데이터 자원 보호가 생성형 인공지능 개발의 핵심 원칙이라는 인식과 맥을 같이하며, 2023 조치 제13조는 제공자가 서비스 수명 주기 동안 사용자에게 안전하고 안정적이며 지속적인 서비스를 제공해야 함을 규정한다(p. 12).
알고리즘 의사결정으로 인한 피해 발생 후 구제를 위한 사후 메커니즘은 공적 집행과 사적 집행으로 나뉜다. 공적 집행의 측면에서, 2021 규정 제31조는 서비스 제공자가 규정을 위반할 경우, 관할 당국이 경고 서한 발부, 비판 통지 순환, 시정 명령을 내릴 수 있으며, 위반이 심각할 경우 정보 업데이트 중단 명령 및 RMB 10,000에서 RMB 100,000 사이의 벌금을 부과할 수 있다고 명시한다. 더욱이, 중국 '개인정보보호법'(Personal Information Protection Law 2021) 제66조에 따라, 개인 정보 처리 의무를 다하지 못한 서비스 제공자는 벌금, 불법 소득 몰수, 영업 활동 중단 및 라이선스 취소와 같은 처벌을 받을 수 있으며, 심각한 위반 시 RMB 5천만 또는 전년도 매출의 5% 중 더 높은 금액까지 벌금이 부과될 수 있다. 사적 집행의 경우, 피해 당사자는 중국 민법(Civil Code of the People’s Republic of China 2020) 제1165조 및 제1194조에 근거하여 불법 행위 책임을 물어 민사 소송을 제기할 수 있으며(p. 12), 재정적 손실이나 심각한 정신적 피해를 입증할 경우 배상을 청구할 수 있다(pp. 12-13).
중국 규제 체제의 강점은 알고리즘 추천 서비스에 대한 구체적인 규정을 제정했다는 점에 있다. 이 규정은 개인화, 정렬, 검색, 스케줄링 등 다양한 알고리즘 기술에 적용되며, 특히 미성년자, 노인, 노동자 및 소비자와 같은 취약 그룹에 대한 보호 의무를 2021 규정 제18조부터 제21조까지 명시하여, 알고리즘으로 인한 잠재적 차별 및 손실로부터 이들을 보호하려는 의지를 보여준다(p. 13). 또한, 중국은 알고리즘 신고 시스템을 채택하여, 동 규정 제24조에 따라 공중 여론 속성이나 사회 동원 역량을 가진 서비스 제공자에게 관련 정보를 공개하도록 요구한다(p. 14).
그러나 중국 규제 체제는 여러 약점을 내포하고 있다. 개인정보보호법 제28조, 제29조, 제55조에 따른 민감 정보 처리에 대한 엄격한 요건은 편향을 완화할 수 있으나(p. 14), 데이터 제약으로 인해 알고리즘의 정확도와 성능이 저해될 수 있으며, 알고리즘이 민감한 범주를 우회하여 특성을 일반화할 수 있어 데이터 보호만으로는 차별 문제를 완전히 해결하기 어렵다. 또한, 개인정보보호법 제24조는 개인에게 자동화된 결정에 대한 설명 요구권 및 이의 제기권을 부여하지만(p. 15), EU GDPR이 계약 이행 필요성, 법적 인가, 명시적 동의와 같은 예외 상황에서 자동화된 의사결정을 허용하고 그에 따른 보호 조치를 요구하는 것과 달리, 중국법은 이러한 예외 조항이 없어 정보 처리자의 준수 부담을 가중시킬 수 있다(p. 16).
알고리즘 투명성 원칙의 불충분성도 큰 문제이다. 2021년 규정이 투명성을 강조함에도 불구하고, 상세한 이행 규칙이 부족하여 그 실효성이 떨어진다(p. 17). 영국 중앙 디지털 및 데이터 사무국이 제시한 알고리즘 투명성 기록 표준은 사용 목적, 책임 주체, 훈련 데이터, 위험 완화 조치 등 구체적인 정보 공개를 안내하는 데 반해(p. 20), 중국은 이러한 세부적인 방법론이 부족하다. 또한, 투명성 원칙 자체의 한계로 인해 알고리즘의 핵심 요소와 소스 코드는 기업의 영업 비밀과 경쟁 우위 때문에 기밀로 유지되어야 할 필요가 있으며(p. 20), 과도한 공개는 프라이버시 침해 및 시스템 보안 위험을 증가시킬 수 있다(p. 21).
사후 메커니즘 실행의 어려움은 민사 소송에서의 구제를 심각하게 제약한다. 사용자-서비스 제공자 간의 정보 비대칭성으로 인해 침해 행위와 구체적인 손해를 증명하기 어려우며, 알고리즘이 오류나 편향을 은폐할 수 있어 알고리즘 문제와 손해 사이의 인과 관계를 입증하는 것이 극도로 어렵다(p. 21). 게다가, 2021년 규정이 부과하는 벌금 수준이 RMB 10,000에서 RMB 100,000 사이로 낮아, 알고리즘 추천 서비스에서 막대한 수익을 창출하는 서비스 제공자에게 억제책으로 작용하기에 부적절하다는 비판이 제기된다(p. 22).
중국 규제 체제의 개선을 위한 방안으로 저자는 여섯 가지 방안을 제시한다. 첫째, EU AI 법의 선례를 참고하여 알고리즘 훈련 및 테스트 데이터에 대한 구체적인 품질 및 대표성 요건을 공식화해야 한다(p. 23). 둘째, 투명성 원칙의 실효성을 높이기 위해 영국 모델과 유사한 알고리즘 투명성 템플릿을 도입하고, 설명의 권리의 표준과 방법을 구체화해야 한다(p. 24). 셋째, 투명성의 한계를 보완하기 위해 알고리즘 감사(auditing)를 통한 감독을 강화해야 한다(p. 24). EU DSA는 매우 큰 온라인 플랫폼에 대해 독립적인 감사를 의무화하고 있으며(p. 25), 중국의 개인정보보호 준수 감사 관리 조치(노출 초안) 역시 투명성 및 공정성 평가에 중점을 둔 알고리즘 감사를 제안한다(p. 26). 넷째, 사적 집행 강화를 위해 개인정보보호법 제69조에 명시된 불법 행위 책임 결정 메커니즘을 참고하여 알고리즘 시스템의 설계자 또는 운영자에게 입증 책임을 부과하는 것을 고려해야 한다(p. 27). 또한, 대표 기관을 설립하여 피해자들의 소송 부담을 완화해야 한다(p. 28). 다섯째, 공적 집행의 억제력을 높이기 위해 불법 이득 계산 방법을 명확히 하고, GDPR과 같은 국제 기준을 참고하여 상당한 수준의 벌금을 도입해야 한다(p. 28). 마지막으로, 법적 규제 외에 알고리즘 윤리 강령을 개발하여 거버넌스 구조에 통합함으로써, 법이 포괄하지 못하는 윤리적 문제에 대응하고 책임 있는 비즈니스 관행을 장려해야 한다(p. 29).
이러한 중국의 포괄적인 알고리즘 규제 경험과 그 한계점은 한국의 규제 논의에 귀중한 시사점을 제공한다. 한국은 알고리즘 투명성 및 설명 책임에 있어 원칙적인 수준을 넘어, EU와 영국이 채택한 위험 기반 접근 방식을 통해 고위험 알고리즘에 대한 상세한 의무와 독립적인 감사를 의무화해야 한다. 또한, 민사 소송에서의 정보 비대칭성 문제를 해결하기 위해 알고리즘 관련 분쟁 시 입증 책임 전환을 적극적으로 검토하고, 알고리즘 감사 결과를 사적 구제 수단으로 활용할 수 있는 제도적 장치를 마련해야 한다. 중국이 겪는 낮은 벌금 수준의 문제와 유사하게, 한국의 관련 법규 역시 알고리즘 위반 행위에 대한 제재의 실질적인 억제력을 확보할 수 있도록 과징금 및 벌칙 수준을 재검토하고 불법 이득 산정 기준을 명확히 할 필요가 있다.