brunch

You can make anything
by writing

C.S.Lewis

by KISO저널 Nov 08. 2021

EU에서 발표한 AI 법안 뜯어보기

EU AI 규제법안

최근 이루어져 온 인공지능 기술의 급속한 발전과 광범위한 확산과 더불어 인공지능이 초래할 수 있는 위해에 대한 적절한 규율이 필요하다는 주장이 대두되고 있다. 이러한 배경하에서 EU 집행위원회가 2021년 4월 발표한 AI 규제법안은 국제적 관심의 대상이 되고 있다. 이제껏 논의돼 오던 사업자에 의한 자발적 인공지능 윤리 원칙 준수나 자율규제를 넘어, 인공지능에 대한 법적 규제를 정식으로 천명한 것이기 때문이다.

EU AI 규제법안의 주요 내용

가. 위험기반 접근법에 따른 인공지능 규제

EU AI 규제법안의 핵심적 체계는 인공지능이 초래할 수 있는 위험을 4가지 단계로 구분하는 것이다. 즉, 인공지능 위험은 “수용 불가능한 위험”, “고위험”, “제한적 위험”, “낮은 위험”으로 구분하고, 각 위험 단계마다 차등적으로 의무를 부과하자는 취지이다. 이는 새로운 규제 도입으로 발생할 의무 준수(compliance) 비용을 최소화하고 불필요한 가격 상승 방지하기 위한 방안으로 이해될 수 있다.

가장 높은 수준의 위험은 “수용 불가능한 위험”이다. 법안 상으로는 (a) 무의식적으로 인간을 조작할 수 있는 중대한 잠재성이 있는 경우, (b) 아동·장애인 등 특정한 취약 계층의 취약성을 악용하여 위해를 가할 수 있는 경우, (c) 공공기관에 의한 사회 평점 시스템, (d) 법 집행 목적의 공개 장소에서의 실시간 원격 생체인식 신원 확인 시스템에 인공지능이 활용되는 경우가 나열돼 있다(법안 제5조). 이와 같은 “수용 불가능한 위험”의 인공지능은 원칙적으로 금지된다.

특히 공개된 장소에 설치된 CCTV 영상에 얼굴 인식 AI 기술을 도입하여 공공기관이 대량 감시(mass surveillance)를 위해 활용하는 것을 제한해야 한다는 주장이 제기돼 왔고, 이에 이러한 인공지능 활용을 수용 불가능한 위험으로 분류한 점이 특기할 만하다. 다만 미아, 중대 범죄 피의자나 테러 예방 등을 위해서는 사법기관이나 독립 행정기관의 사전 승인을 얻는 것을 전제로 예외적인 경우에 한해 제한적으로 허용하고 있다.

다음 위험 단계는 “고위험 인공지능”이다. 이는 크게 2가지로 구분된다. 고위험 인공지능의 첫째 범주는 AI 시스템이 제품 안전과 관련돼 활용되는 경우이다(법안 제6조 제1항). 안전상 위험성이 있는 제품에 대해서는 이미 기존 EU 규제가 적용되고 있다. 완구, 레저기구, 승강기, 폭발물, 고압 기구, 케이블, 의료기기, 민간 항공 안전, 차량, 농업·임업 용구, 해상기구, 철도 등이 그러한 예이다. 만약 인공지능이 이러한 제품에 안전 부품으로 활용되는 경우는 해당 인공지능에 대해서도 추가적 규제를 적용한다는 취지로 이해된다.

고위험 인공지능의 두 번째 범주는 EU AI 규제법안 부속서 III에서 규정한 인공지능 활용 사례들이다(법안 제6조 제2항). 이는 개인의 보건·안전이나 기본권에 중대한 위험을 초래할 수 있는 경우인데, 일반적 생체인식 신원 확인 및 개인의 분류 시스템, 중요 인프라의 관리 및 운영, 교육 및 직업 훈련, 채용이나 근로자 관리 및 자기 고용에 대한 접근(이른바 플랫폼 노동에서의 작업 할당 및 성과 감독 포함), 핵심적 민간 및 공공 서비스 및 혜택에 대한 접근 및 이용(자연인에 대한 신용평가 포함), 법 집행, 이민·망명·국경 관리, 사법·민주적 절차에 인공지능 활용되는 경우가 나열돼 있다. 이는 대부분 최근 수년 동안 인공지능 활용의 위험성에 대해 문제 제기가 지속해서 이뤄져 온 분야이다.

이러한 고위험 인공지능을 제조, 수입, 공급할 때에는 여러 추가적인 규제가 적용되는데, 특히 인공지능이 위 규제를 준수하고 있다는 점에 대한 사전 적합성 평가(Conformity Assessment)가 강제된다. 특히 기존에 공산품에서 흔히 볼 수 있었던 ‘CE 마크’ 부착 의무를 인공지능에까지 확장한 것은 주목할 만하다.
세 번째 위험 단계는 “제한적 위험”이다. 이 경우에는 인공지능이 활용됐다는 사실을 고지해야 한다는 투명성 규제의 적용을 받는다. 제한적 위험으로 분류된 사례는 인공지능이 자연인과 상호작용하는 경우, 감성인지 시스템 또는 생체인식을 통한 분류 시스템, 인공지능에 의한 콘텐츠 생성 또는 조작(이른바 딥페이크)이 있다(법안 제52조). 다만 이러한 인공지능 시스템이 범죄를 탐지·예방·조사하는 데 사용되거나, 표현의 자유를 보장할 필요가 있는 경우에는 투명성 규제의 예외가 될 수 있다.

마지막 위험 단계는 ‘낮은 위험’이다. EU AI 규제법안 상 이러한 인공지능에 대해 적용되는 강제 의무는 없고, 다만 사업자들에 의한 자율규제를 권장하고 있을 뿐이다. EU 차원의 인공지능 규제로 인해 인공지능 산업이 위축될 수 있다는 비판을 의식해서인지, EU 집행위원회는 대부분의 인공지능은 ‘낮은 위험’에 속하고, 따라서 인공지능에 대해 추가적 규제 의무를 부담하는 사례는 많지 않을 것이라는 점을 강조하고 있기도 하다.

나. 고위험 인공지능에 대한 위험관리 시스템

무엇보다 EU AI 규제법안은 고위험 인공지능의 개발에 대한 다수의 의무사항을 부과하고 있다. 그 중 핵심적인 것은 위험관리 시스템을 구축, 유지해야 한다는 의무이다(제9조). 이러한 위험관리는 인공지능 전체 생애주기에 걸쳐 지속적이고 반복적으로 이뤄져야 하며, 주기적으로 업데이트될 필요도 있다. 고위험 인공지능에 대한 위험관리 시스템에 있어 핵심적 의무사항을 소개하면 다음과 같다.

우선, 인공지능에 사용되는 학습, 검증 및 평가 데이터는 관련성, 대표성, 무오류성과 완전성 등을 갖출 것이 요구된다(제10조). 또한 인공지능 시스템을 출시하기 전 법적 요구사항을 준수하고 있다는 점을 보여주는 기술문서를 작성해야 하고(제11조), 인공지능 시스템이 작동하는 동안의 자동적 사건 기록(로그) 기능을 구현해야 한다(제12조). 이러한 기록은 인공지능 시스템 기능을 생애주기 전체에 걸쳐 추적할 수 있는 수준이어야 한다.

다른 한편, 투명성 및 이용자에 대한 정보제공에 대한 의무도 규정되어 있다(제13조). 인공지능 시스템은 이용자가 시스템의 출력을 해석하고 적절하게 이해할 수 있도록 충분히 투명해야 한다. 이용자에게 제공해야 할 정보로는 공급자 정보, 인공지능 시스템의 성능(목적, 정확도, 오용 위험성, 성능 및 데이터 정보), 변경사항, 인간 감독, 예상 수명 등이 있다.

또한 인간 감독에 관한 의무도 있다(제14조). 인공지능은 그 사용 기간 중 인간에 의해 효과적으로 감독될 수 있도록 설계 및 개발돼야 하고, 정상 동작 또는 합리적으로 예견 가능한 오용 상황에서 위험의 예방 또는 최소화가 이뤄져야 한다. 이러한 인간 감독이 인공지능 시스템에 내재화될 수도 있고, 이용자에 의해 직접 수행될 수도 있다. 어떠한 경우라도 이용자가 인공지능 시스템의 능력과 한계를 이해하고, 인공지능 시스템에 의한 편향의 자동화 가능성을 인지하며, 인공지능의 결과물을 해석할 수 있고, 인공지능 시스템의 결정을 번복하거나 그 작동을 중지시킬 수 있는 기능을 포함해야 한다.

나아가 인공지능 시스템의 정확성, 강건성 및 사이버 보안에 관한 의무도 포함돼 있다(제15조). 인공지능은 그 사용 목적에 비추어 적절한 수준의 정확성 확보해야 하며, 시스템 오류나 외부 환경 상의 오류 혹은 외부 공격에 대한 저항성을 갖춰야 한다. 인공지능의 결과물이 다시 자신의 학습 데이터로 활용되는 경우에 발생할 수 있는 이른바 ‘피드백 루프’ 문제에 대한 적절한 저감 조치도 필요하다. 또한 데이터 오염공격(data poisoning), 적대적 사례(adversarial examples)에 대한 기술적 조치도 고려해야 한다.

시사점

요컨대, EU AI 규제법안은 인공지능에 대한 사회적 신뢰를 증진하고, 인공지능 규율에서의 법적 안정성을 확보하려는 조치로 이해될 수 있다. 이를 위해 비례적 위험기반 접근법에 따라 4가지 위험 단계를 구분하고, 특히 고위험 인공지능에 대해서는 생애주기 전체에 걸친 위험관리 시스템을 구축할 것을 요구하는 것을 골자로 하고 있다.

하지만 EU AI 규제법안은 인공지능 신뢰성 확보 문제를 종결 짓는 것이 아니라, 오히려 이 문제에 관한 새로운 시작점이라고 평가할 수 있다. 어려운 문제는 누가 어떻게 인공지능의 위험 수준과 대응 조치의 적절성을 평가할 것인가 하는 점이다.

위 법안은 기존 안전성 적합성 평가 제도를 활용해 인공지능 위험성에 있어서도 이와 유사한 의무를 부과한다. 즉 제3자인 전문기관에 의해 평가받는 것이다. 다만 부속서 III에 규제된 고위험 인공지능의 사례와 같이 기존의 적합성 평가기관이 존재하지 않는 경우에 대해서는, 원칙적으로 인공지능 시스템 공급자에 의한 자기 적합성 평가에 의하도록 하고 있다. 즉, 공급자가 내부 통제 절차를 통해 사전적으로 EU 규제 준수 여부에 대해 완전하고, 효과적이며, 적절하게 문서화된 평가를 내리도록 하는 것이다.

현재 인공지능 위험 규제에 대한 적합성 평가를 수행할 평가기관이 존재하지 않지만, 향후 이러한 평가 업무를 수행할 전문기관이 늘어날 것으로 전망된다. 국내 인공지능 기업도 이러한 자기 적합성 평가를 수행할 역량을 높여 나갈 필요가 있을 것이다.

※ 이 글은 KISO저널 제44호 <법제동향>에 실린 김병필 KAIST 기술경영학부 교수의 글https://journal.kiso.or.kr/?p=11212을 재인용했습니다.