'AI 위험 관리 프로세스'는 오늘도 진화 중입니다.
LG AI연구원의 AI Risk Management Process
AI 덕분에 누리게 될 혜택도 중요하지만,
AI로 인해 예상치 못하게 발생할 수 있는 위험을 예방하기 위한 노력도 중요합니다.
그렇다면 어떻게 AI 위험을 예방할 수 있을까요?
아직 국제적으로 합의된 표준이나 방법은 없습니다.
전 세계 정부와 글로벌 테크 기업, 국제기구 모두 나름의 효과적인 AI 위험 관리 절차와 방법을 한창 연구, 개발 중인 상황이죠.
그도 그럴 것이, 나라마다 기업마다 AI의 수준이 천차만별이고,
AI가 활용되는 영역(금융, 의료, 제조, 통신, 교통, 행정 등...)에 따라 유의해서 살펴봐야 할 잠재적 위험도 모두 다르기 때문입니다.
지금 상황에서 우리가 할 수 있는 최선의 방법은,
각자 자신의 맥락과 수준에 맞는 최선의 AI 위험 관리 방법을 개발하고,
이걸 혼자만 꽁꽁 싸매고 기밀문서처럼 보관하고 있을 것이 아니라,
다른 국가, 기업, 국제기구들과 적극적으로 공유하는 것이라고 생각합니다.
이 과정에서 서로의 성공과 실패 사례 그리고 그 과정에서 얻은 교훈을 나눌 수 있다면,
결과적으로 좀 더 나은 AI 위험 관리 방법을 찾아나갈 수 있게 될테니까요.
그런 의미에서 오늘은 LG AI연구원에서
동료들과 제가 지난 1년 간 설계하고 운영한 'AI 위험 관리 프로세스'를 소개합니다.
LG AI연구원의 사례가 가장 완벽하거나 우수하다고 자랑하기 위해서가 아니라,
서로의 사례를 공유하는 과정에서 좀 더 나은 'AI 위험 관리 방법론'을 찾아갈 수 있기를 바라기 때문입니다.
AI 기술이 하루가 다르게 발전하는만큼,
AI 위험 관리 프로세스도 매일매일 업데이트 되어야만 합니다.
LG AI연구원의 AI 위험 관리 프로세스는 오늘도 진화 중입니다...
LG AI연구원의
AI 위험 관리 프로세스(AI Risk Management Process)
AI 위험 관리 프로세스는 AI 연구개발 및 이용 과정에서 발생할 수 있는 잠재적 위험을 사전에 파악하고 해결하기 위한 절차입니다. AI 위험 관리 프로세스를 통해 AI 기술이 인간의 가치와 권리를 존중하며, 사회적, 윤리적으로 책임 있는 방식으로 연구, 개발, 활용될 수 있도록 관리하고 있습니다.
[1단계] 과제 특성 분석
AI 위험 관리 프로세스는 개별 AI 과제의 기술, 사업, 윤리 담당자가 참여하는 TF를 구성하는 것으로 시작됩니다. TF 구성원은 서로 다른 전문성과 시각을 바탕으로 해당 AI 과제가 갖는 잠재적인 위험과 해결책을 모색하게 됩니다. TF가 구성되면 30여 개의 문항으로 구성된 온라인 설문(1~5점 척도)을 통해 과제의 포괄적 특성을 파악합니다.
[설문문항 예시] 설문은 사용 환경, 데이터, 모델, 시스템 등의 특성을 확인하기 위한 질문으로 구성되어 있습니다.
• 최종 사용자의 특성 (AI 역량 수준, 소속, 분야, 국가 등)이 명확히 파악되어 있는가?
• 고위험 AI 영역에 해당하는가? (먹는 물, 의료, 원자력, 채용 등)
• AI 시스템이 어떤 기준으로 특정한 결정 (출력)을 내놓는지 설명할 수 있는가?
• 데이터의 대표성과 최신성은 확보되어 있는가?
• 데이터에 개인정보와 같은 민감한 데이터가 포함되어 있는가?
ⓒ LG AI연구원, 2023 LG AI 윤리 책무성 보고서 위 그림은 TF 구성원들의 설문 응답결과(평균) 예시를 보여줍니다. 짙은 보라색에 가깝게 표시된 항목은 TF 구성원들이 공통적으로 잠재적 위험을 높게 평가했음을 의미하며, 연한 보라색에 가까울수록 위험이 거의 없음을 의미합니다. 흰색 박스는 설문 응답 시점에 정확한 답변이 어렵거나 TF 구성원 간의 별도 논의가 필요하다고 응답한 항목들입니다.
[2단계] 문제해결 우선순위 설정
두 번째 단계에서는 설문결과 파악된 과제 특성에 따라 발생 가능한 구체적 문제와 해결 방안을 논의합니다.
ⓒ LG AI연구원, 2023 LG AI 윤리 책무성 보고서식별된 문제와 해결 방안은 위 그림과 같이 각각의 잠재적 위험성과 해결 난이도에 따라 4단계로 구분하고, 잠재적 위험성이 가장 높으며 해결하기 어려운 문제부터 먼저 해결하도록 우선순위(1→2→3→4)를 설정하고 담당자를 지정하여 과제 수행 기간 내에 해당 문제를 개선합니다.
[3단계] 이행결과 확인 및 문서화
마지막 단계에서는 식별된 문제가 해결되었는지를 최종 점검하고, AI 위험 관리 프로세스의 전체 과정과 결과를 문서화합니다. AI 위험 관리 프로세스 문서화 대상에는 과제 목적과 최종사용자, 이해관계자, 학습 데이터, 모델 성능뿐만 아니라 한계와 취약점 등의 정보가 포함됩니다. 이러한 문서화 작업을 통해 AI 시스템의 투명성과 책임성을 확보하기 위해 노력하고 있습니다.
어떤가요?
이대로만 진행하면 AI의 모든 잠재적 위험을 사전에 파악해서 해결할 수 있을 것 같으신가요?
질문에 대한 스스로의 답은...
완벽하지 않을 수는 있다.
하지만 분명 대부분의 잠재 위험을 사전에 파악해서 개선할 수 있다라고 말씀드릴 수 있을 것 같습니다.
사실 AI 위험 관리 프로세스를 진행하는 과정이 순탄하지만은 않았습니다.
AI 과제의 기술, 사업, 윤리 담당자가 함께 모여 논의하기 때문에 상대가 놓치고 있는 부분들을 짚어줄 수 있는 큰 장점이 있었지만, 서로의 경험과 전문성에 큰 차이가 있다 보니 크고 작은 의견 충돌도 많았습니다.
사소하게는 "차별", "편향", "대표성" 등에 대한 개념 정의를 과연 어떻게 내리는 것이 타당한 것인가부터, AI 위험 관리 프로세스를 어느 시점에 시작하는 것이 가장 효과적인지, 전체 프로세스 종료 후 문서화 작업 과정에서 어느 정도 수준의 AI 모델 정보까지 담는 것이 기술 보안 측면에서 적합한지 등등... 돌이켜 생각하면 지금도 AI 위험 관리 TF 회의 때의 팽팽한 긴장감과 갈등 상황이 다시 떠오릅니다.
하지만 저는 이러한 긴장과 갈등은 AI 위험 관리 프로세스에서 발생할 수 있는 아주 건강한 현상이라고 생각합니다. 서로의 생각이 다르기 때문에 갈등은 당연히 발생할 수 있는 것이고, 문제는 그 갈등을 어떻게 조정하고 풀어나가느냐에 있기 때문입니다.
갈등은 어떻게 조정하고 풀어나갔느냐고요?
거기까지 이야기하면 영업기밀이 아닐까 싶습니다...
LG AI연구원의 AI 위험 관리 프로세스는 완성형이 아닙니다.
한국과 미국, 영국, EU 등에서 논의 중인 AI 안전성 평가, 신뢰성 검인증, 제3자 외부평가 등에 대한 논의를 계속 모니터링하며 오늘도 수정, 보완 중입니다.
아무쪼록 각 국가, 기업, 국제기구들이 서로의 AI 위험 관리 사례와 경험을 공유하면서 다함께 더 나은 방법을 찾아갈 수 있기를 바래봅니다!
AI 위험 관리 프로세스를 만들면서 많은 참고가 되었던 자료들
OECD AI 시스템 분류 프레임워크 (OECD Framework for the Classification of AI Systems)
유네스코 AI 윤리영향평가 (Ethical impact assessment: a tool of the Recommendation on the Ethics of Artificial Intelligence)
미국 국립표준기술연구소 AI 위험 관리 프레임워크 (U.S. NIST's AI Risk Management Framework)
신뢰할 수 있는 AI 개발 안내서
AI 위험 관리 프로세스를 비롯한 LG AI연구원의 좀 더 자세한 AI 윤리 활동은 'AI 윤리 책무성 보고서(아래 링크)'를 참고해 주세요!
