AI 거버넌스가 뭐예요?
AI 안전을 위한 총체적 노력
AI 개발 경쟁이 과열되는 양상을 브레이크 없이 질주하는 자동차로 자주 비유하곤 한다. AI가 도구로서 인류에 큰 편익을 제공하면서도 악용 및 부작용 때문에 초래되는 피해도 만만치 않는 속성을 자동차와 공유하기 때문이다.
AI 거버넌스도 자동차에 대한 비유를 통해 서문을 열어볼까 한다. AI도 난해한데 거버넌스도 난해한 개념이기 때문이다. 거버넌스는 심지어 적절한 번역어도 없는 실정이다(협치, 관리, 관리체제, 통치 등이 쓰이기도 하지만 그 의미를 포착하는 데 한계가 있어 보인다).
“우리 사회가 자동차를 안전하게 이용하기 위해서는 자동차를 안전하게 만들기만 하면 된다.” 이 주장에 동의할 사람은 없을 것이다. 차체를 견고하게 만들고 에어백과 안전벨트와 같은 안전장치를 넣어 자동차 자체를 안전하게 만드는 건 자동차의 안전한 이용에 아주 일부분일 뿐이다.
자동차가 다니는 도로, 신호등, 차선, 표지판 등 인프라에도 안전장치들이 갖춰져야 하고, 이 모두를 감안한 법규와 제도가 필요하다. 이 법규와 제도를 집행하는 정부 기관도 필요하고, 운전자들은 교육을 받는다. 심지어 사고를 대비한 보험 제도도 운영되고 보험사들도 존재한다. 이처럼 제반 기술, 제도, 조직, 안전의식 모두가 하나로 어우러질 때 자동차의 안전한 이용이 비로소 가능해진다. 이 총체가 바로 자동차 안전을 위한 거버넌스이다.
그렇다면 AI는 어떠한가. “신뢰할 수 있고 안전한 AI는 AI 기술을 고도로 발달시키면 된다”는 주장이 신빙성이 있을까. 자동차보다 더 인류사회를 근본적으로 변혁시킬 것이라는 이 기술에 이런 1차원적인 기술만능론은 설득력이 없다. AI를 안전하게 만들기 위해서는 자동차처럼 총체적 접근이 필요하다. 즉, AI 거버넌스가 필요하다.
AI 거버넌스에 대한 IBM Chief AI Officer의 한 마디
이러한 맥락에서 IBM에서 최초의 Global Chief AI Officer로 재직했고, 지금은 책임 있는 AI 개발 연구를 주도하는 미국 비영리 기관인 RAI(Responsible AI Institute)의 회장을 맡고 있는 쎄스 도브린(Seth Dobrin)의 말이 더 와닿는다. 도브린은 “AI 관련 문제를 예방하기 위해서는 AI 모델이 아닌 AI 거버넌스로 접근해야 한다"라고 강조했다. 그는 데이터를 관리뿐 아니라 출시 후 모니터링 및 모델 수정까지 총체적인 접근이 필요하며, 단순한 기술이 아닌 각 분야 이해관계자가 참여하는 공동체 개념으로 봐야 한다고 역설한다.
이처럼 AI 거버넌스는 조직이 AI 시스템의 책임 있는 개발, 배포 및 사용을 보장하기 위해 구현하는 프레임워크, 지침 및 관행, 감독 메커니즘의 총체를 지칭한다. 여기에는 윤리적 고려사항, 위험 관리, 규제 준수 및 영향 평가 등이 포함된다. 또한 참여자 면에서는 책임 있는 AI 사용을 위해 AI 개발자, 사용자, 정책 입안자를 포함한 광범위한 이해관계자들이 참여하여 AI 관련 시스템이 사회의 가치에 맞게 개발되고 사용되도록 보장하는 데 노력을 기울이는 체계이다.
AI 거버넌스는 기업 수준의 거버넌스를 넘어서 국가 단위, 글로벌 단위의 거버넌스로 확장될 수 있다. AI의 영향에 대해 협력하고 공조하는 공동체의 범위가 넓어지고 또 다양해지면서 AI 거버넌스의 형태 또한 다양화할 것으로 예상된다. 이러한 맥락에서국가 단위, 글로벌 단위로도 상당히 흥미로운 AI 거버넌스 확립 노력이 진행되고 있다. 일례로 최근 UN에서는 UN 차원의 글로벌 AI 거버넌스 권고안을 발표하기도 했다. 국가 단위로는 많은 국가들이 이 거버넌스 체제 확립을 위한 전문 기관인 AI 안전연구소들을 설치하고 있기도 하다. 이를 뒤로하고 여기서는 일단 기업 수준의 협의의 거버넌스에 초점을 두도록 한다.
그래서 AI 거버넌스, 어떻게 하는 거야?
안타깝게도 AI 거버넌스에는 아직 정석이 없다. AI가 하루가 다르게 발전하는 신생 분야이다 보니 당연한 구석이 있다. 앞서 언급한 UN 차원의 권고안이 마련된 이유 중 하나도 AI 거버넌스의 분절화가 심화되고 있기 때문이기도 하다. 이렇게 정립된 표준이 없는 현 상태에서는 조직 별로 자신들의 목적과 상황에 따라 나름의 구조화된 접근 방식과 프레임워크를 정립해 나가는 수밖에 없다.
정해진 게 없는 막막한 AI 거버넌스의 지향점은 AI가 초래하는 위협과 조직이 달성하고자 하는 목표 사이의 균형이다. AI 기술을 통해 달성하고자 하는 목표 무게추의 한 편에 두고 다른 한 편에는 해당 AI 기술로 초래될 수 있는 위험을 두면서 각 조직의 규모, 사용 중인 AI 시스템의 복잡성 및 조직이 운영되는 환경에 따라 AI 거버넌스를 구축해 나가야 한다.
아직 조직의 규모가 AI 거버넌스를 위한 공식적인 구조나 프레임워크, 감독 및 모니터링 메커니즘을 정립하기 어려운 상황이라면 AI 개발 및 사용을 위한 정책이나 프로세스를 수립하는 것부터 시작할 수 있다. AI 사용 방식이나 사용처가 확립되지 않은 더 초기 단계의 조직이라면 적어도 조직의 가치나 원칙에 AI의 책임 있는 사용을 반영시킬 수는 있다. 어차피 AI 거버넌스는 AI 기술의 발전과 사용 양태의 변화에 따라 끊임없는 진화를 필요로 한다.
때문에 첫 삽을 떼는 게 중요하다. 이 AI 거버넌스 시작 단계에서 방향성을 설정하는 데는 Safety by Design 원칙을 고려할 수 있다. 일부 기술이나 보안 전문가만의 협소한 기능적 해결책을 모색하는 게 아니라 다학제적(interdisciplinary) 접근법에 따라 여러 영역의 전문가들이 뭉쳐 포괄적인 위협에 대응하고, AI 제품의 기획, 개발, 배포, 운영 및 유지 등 모든 AI 생애주기에서 안전을 위협할만한 부분들을 식별하고 이에 맞는 테스팅 영역, 목표 및 시나리오를 준비하는 것이다.
AI 거버넌스(AI Governance)가 다스려야(Govern)할 위험들이란?
AI 거버넌스를 통해 대응해야 하는 위험들은 유형에 따라 악의적 사용, 오작동, 시스템적 위험으로 나눠볼 수 있다. 이 모든 것들이 동시에 복합적으로 발생하는 교차 위험 등도 생각해 볼 수 있다.
컴퓨터 과학의 노벨상이라 불리는 튜링상을 수상한 딥러닝의 대부 요슈아 벤지오는 2024년 “The International Scientific Report on the Safety of Advanced AI” 제하 보고서 AI 안전 보고서에 담은 위험 분류 방식을 참고해 보자. 요슈아는 범용 AI의 주요 위험 유형으로 1) 악의적 사용 (Malicious use), 2) 오작동 (Malfunctions), 3) 시스템적 위험 (Systemic risks)와 4) 교차 위험(Cross-cutting risk)을 꼽았다.
이 시리즈의 전편들에서 다룬 위험들도 이 분류에 따라 정리하면 다음과 같다
- 1) 악의적 사용 (Malicious use): "악한 생성형 AI(GenAI)가 초래할 독특한 위협들", "악한 AI, 끝을 가늠하기 힘든 그 만능성에 대하여"
- 2) 오작동 (Malfunctions): "AI의 태생적 한계와 그로 인한 부작용"
- 3) 시스템적 위험 (Systemic risks): "AI야 다 “해줘" - AI 과의존성 문제" , AI가 초래할 환경 위기
- 4) 교차 위험(Cross-cutting risk): 위 사례들이 복합적으로 작용하는 경우
이거 정말 해야 하나요.
해야 한다. 생소하고 낯설어서 회피 본능이 일어날 수 있지만 AI 거버넌스는 피하기 어려워 보인다. 사실 억지로 해야 할 게 아니라 득이 많은 면도 있다. AI 기술의 잠재적인 부정적 영향을 식별, 평가 및 완화하는 데 도움이 되는 것은 물론이요, 이를 바탕으로 사용자들에 대한 신뢰를 구축하고 브랜드 평판도 탄탄히 다질 수 있다. AI가 우리 사회의 가치와 구성원의 권리를 보호하는 데 책임을 다한다는 면에서 ESG* 에도 부합한다.
*ESG란 환경(Environment), 사회(Social), 지배구조(Governance)를 뜻하는 것으로, ‘ESG 경영’이란 장기적인 관점에서 친환경 및 사회적 책임경영과 투명경영을 통해 지속가능한 발전을 추구하는 것이다.
규제도 이미 다가왔다. EU는 EU의 AI 법 위반 시 세계 매출의 7% 까지 과징금을 물린다. 이러한 규제 선진국 EU의 움직임은 브뤼셀 효과에 따라 각국으로 퍼져나가고 있다. 우리나라도 AI 규제법(비록 미진한 점이 많을지라도)이 국회에 상정되어 있다. 즉, 하기 싫어도 하게 될 일이다.
어차피 해야 한다면 내부적으로도 AI 거버넌스에 대한 명확한 프로세스와 가이드라인을 제공해 주는 게 개발자들이 윤리적이고 법적인 경계 내에서 자유롭게 혁신할 수 있게 도움을 준다. 또한 사용자들과 사회의 기대와 검증을 견딜 수 있는 보다 공고한 AI 시스템을 구축하는 데에도 도움이 된다.
이런 이유로 SKT, 국민은행, 카카오뱅크 등 한국의 일부 기업들은 나서서 AI 거버넌스를 적극적으로 확립하고 자신들의 강점으로 홍보하고 있다. 이런 반가운 노력들을 응원한다.
AI 거버넌스, 더 나아가 기업을 넘어 국가, 글로벌 단위의 확장이 필요한 이유
AI 플랫폼 공급업체인 도미노 데이터 랩(Domino Data Lab)이 AI 책임자들을 대상으로 실시한 설문 조사에 따르면, 97%의 조직이 책임 있는 AI에 대한 목표를 설정했지만 거의 절반인 48%가 필요한 AI 거버넌스 프레임워크를 구현할 리소스가 부족하다고 답했다. 38%는 AI 거버넌스 기술이 부족하다는 것도 이유로 꼽았다.
이런 어려움을 덜어주고자 비영리단체, 정부 및 국제기구에서 다양한 지원을 제공하며 나서고 있다. NIST(미국 국립표준기술연구소)는 AI 위험 관리 프레임워크를 제공하고 있고, OECD는 AI에 관한 원칙, EU는 신뢰할 수 있는 AI 윤리 가이드라인 등을 제공하고 있다. 비영리단체는 RAI는 AI 정책 템플릿을 공개하기도 했다. 이 다양한 자료들 속에 투명성, 책임성, 공정성, 개인 정보 보호, 보안 및 안전을 비롯한 AI 안전과 관련된 다양한 주제에 관련한 지침을 찾을 수 있다.
이런 풍부한 자료들을 볼 때 기업들의 문제는 사실 자원 부족이 아니라 우선순위 설정의 문제일 것으로 보인다. 당장 경쟁사의 서비스를 제치고 고객 한 명이라도 더 확보해야 하는데, AI 거버넌스 같은 것은 일단 시장을 장악한 후 생각해 보겠다는 심보가 들게 마련이다. 소탐대실이지만 이윤을 추구하는 기업 입장에서 저항하기 어렵다.
이런 상황에서는 국가단위, 글로벌단위의 AI 거버넌스가 중첩적으로 영향을 발휘할 필요가 있어 보인다. 자동차 제조업체에 각종 법규 및 제도, 정부의 감시를 통해 안전장치 및 손해배상, 리콜 제도 등 의무사항들이 부과되고, 강제되는 것처럼 기업의 AI 거버넌스가 메꿀 수 없는 틈들은 정부기관, 법률 및 지도가 메워야 한다.
AI 거버넌스는 윤리적 당위가 아닌 성공적인 AI 비즈니스의 필수 사항으로 자리 잡아가고 있다. 탄탄한 AI 거버넌스는 AI가 초래할 위험을 막아냄으로써 사용자와 사회를 보호할 뿐 아니라 더 신뢰할 수 있는 공고한 AI 시스템 구축으로 이어진다. 좋은 AI 거버넌스는 AI의 기회와 위협을 동시에 대비할 수 있는 조직적 준비성을 함양한다. AI 시대, 좋은 AI 거버넌스가 곧 경쟁력이다.
