K-AIID를 고민할 때가 되었다
Partnership on AI의 인공지능 시스템 오류 데이터베이스 소개
‘Partnership on AI’는 애플, 아마존, 딥마인드, 구글, 페이스북, IBM, 마이크로소프트 등의 연구자들이 2016년 설립한 조직으로, 인공지능을 올바르게 활용하기 위한 각종 베스트 프랙티스를 연구, 구축하고 일반 대중과 사회의 이익을 극대화하는 방향으로 인공지능 연구와 적용이 진행될 수 있도록 하는, 열려있는 논의와 활동의 장 (Open Platform for Discussion and Engagement)을 만들어나가겠다는 목표를 가지고 있습니다. 2017년 여섯 개의 Not-for-Profit 이사회 멤버가 추가되면서 그 활동 반경을 확장하였고, 2020년 현재 전 세계 13개 이상의 국가, 100개 이상의 연구단체와 기업이 참여하고 있습니다.
지난 11월 18일, Partnership on AI는 각종 인공지능 시스템이 ‘안전, 공정성 등을 포함한 중요한 문제와 관련하여 나타낸 오류’를 기록하고 공유함으로써 향후 유사한 실패가 반복되지 않도록 하는 기본 데이터로 활용하겠다는 목적으로 ‘AIID (AI Incident Database)’를 제안하였습니다.
며칠 전 AI Governance Forum의 정책 발표회에 토론자로 참여하면서 든 생각이지만, 이러한 시도와 오류 정보의 공유가 사회의 AI Governance 체계 일부로서도, 그리고 기업 내에서도 별도로 활용 가능한 - 활용해야 하는 - 접근법이 아닐까 하는 생각도 들고, 다른 관점에서는 인공지능 시스템을 위한 '입력 데이터' 뿐 아니라 인공지능 시스템이 만들어내는 '러닝'은 어떤 구조로 체계적으로 수집하고 정리할지에 대한 논의도 필요하다는 생각이 들어, 뉴스를 번역하여 공유해 봅니다.
인공지능 시스템이 실패할 때: AIID (AI Incident Database) 소개
전 세계 각국의 정부, 기업, 그리고 개인에 이르기까지 수많은 주체들이 채용 등과 같이 도전적인 분야뿐 아니라 교통, 에너지, 헬스케어, 그리고 사법 집행 등 시민과 사회의 안전을 위한 핵심적 영역에까지 인공지능 시스템의 활용을 가속화하고 있습니다.
만약 이런 시스템이 오작동한다면 당연히 많은 사람들의 삶과 일상생활에 때로는 큰 위협이 되겠고, 명확한 ‘오작동’이 아니라 하더라도 개발자가 이런 인공지능 시스템이 실세계에서 운영되는 과정에서 어떤 이유로 무언가 의도하지 않은 작동을 할지 예상하지 못하는 경우가 있을 수 있습니다. 이런 의도하지 않은 시스템의 실패도 때로는 끔찍한 결과로 이어질 수 있는데, 이미 우리들은 2010년 5월 다우존스 산업평균지수의 플래시 크래시 (2010년 5월 6일 오후 2시 32분 시작된 주식 시장 폭락으로, 약 36분간 1조 달러 이상, 1,010.14 포인트가 하락하는 역대 두 번째로 큰 하락. 트레이딩 알고리즘의 초단타 매매로 인해 발생한 것으로 알려져 있음), 2018년 보행자를 사망하게 한 자율주행차 사고, 그리고 2019년 무고한 사람을 범인으로 지목하여 체포하게 한 결과를 낳은 안면 인식 시스템 사건 등의 사례를 통해 그 결과를 보고 있습니다.
더 문제가 되는 것은, 인공지능 커뮤니티 전반에 걸쳐 어디에도 인공지능 시스템 개발자나 사용자들이 과거의 오류나 실수를 확인하고 배울 수 있는, 공식적인 중앙화된 정보 저장소 및 이를 이용하기 위한 체계, 절차 등이 없다는 것이라고 하겠습니다.
과거의 실패를 반복하지 않으려면 그 과거의 실패에 대해서 누구나 쉽게 알 수 있도록 해야 하겠죠. 따라서, 오늘 Partnership on AI에서는 인공지능 시스템으로부터 발생한 안전, 공정성 및 기타 다른 관점의 실패와 오류 등을 체계적으로 수집하는 AIID (AI Incident Database)를 소개하고자 합니다.
AIID는 항공산업이나 컴퓨터 보안산업에서 찾아볼 수 있는 유사한 데이터베이스들로부터 영감을 받은 것입니다.
항공 및 컴퓨터 보안 사고 데이터베이스 예시항공산업에서는, '사고 (accident)'란 생명에 상당한 수준의 손상 또는 사망이 발생한 경우를 의미하는 반면, '사건 (incident)'이란 실제 사고가 발생할 위험이 상당하게 증가한 상태를 의미합니다. 예를 들어, 조종석에 작은 화재가 발생했지만 빠르게 진압된 경우는 '사건'이고, 진압 과정에서 승무원이 화상을 입었다면 이것은 '사고'로 분류합니다. 수십 년간 항공산업에서 이렇게 '사건'과 관련된 정보를 반복적으로 수집하고 개선하는 활동을 통해서 1970년 이후 항공산업의 치사율이 8분의 1로 줄어든 것으로 알려져 있습니다.
AIID에 영감을 준 두 번째 '사건' 데이터베이스는 CVE (Common Vulnerabilities and Exposures) 시스템인데, 이것은 141,000건 이상의 널리 알려진 사이버 보안 관련 취약점이나 위험을 포함하고 있는 데이터베이스입니다. CVE 사이트는 이런 취약점들을 공개적으로 공유하고 일관적인 방법으로 참조할 수 있도록 함으로써 모든 산업에서 활용 가능한 핵심적인 보안 인프라로서의 기능을 수행하고 있습니다.
AIID 둘러보기
인공지능 시스템의 활용 과정에서 경험하게 되는 문제의 저장소로서, AIID는 인공지능 연구자와 개발자들이 향후 반복되는 오류의 발생을 피할 수 있도록 도와줍니다.
예를 들어서 위 데모에서, 사용자가 'facial recognition'이라는 키워드 검색을 하면 AIID는 즉각 89개의 보고서를 찾아 줍니다.
'사건'은 다양한 사건 관련 기사와 자료들을 기반으로 처음 데이터베이스에 기록될 때 'Incident Report'로서 개별 ID를 부여받습니다. 때때로 기술적, 사회적으로 복잡한 경우라면 '사건' 당 많은 보고서가 있을 텐데, 이들을 통해 다양한 관점의 해석과 이해를 해야 합니다. 그리고 모든 사건 보고서들은 즉각적으로 검색 가능한 시스템을 통해 사용자가 신속하게 관심 있는 영역의 인공지능 시스템 사건을 찾아볼 수 있습니다.
전체적인 시스템 아키텍처는 최근 발간된 arXiv 논문에서 확인해 볼 수 있습니다. 이 프로젝트는 오픈소스 프로젝트로, 이 프로젝트를 지원하고 싶다면 누구라도 AIID 코드 베이스에 분류 체계를 구축하고 데이터를 요약하는데 참여할 수 있습니다.
누가 AIID를 사용해야 하는가?
Product Managers
기업에서 일하는 Product Manager는 제품 개발 이전과 그 과정에서 제품의 요구 사항을 정의할 책임을 집니다. Product Manager가 인공지능 시스템이 과거 물의나 피해를 야기했던 사건을 사전에 잘 파악할 수 있다면, 이런 위험이 발생하지 않도록 하는 제품 요구사항을 포함시킬 수 있을 것입니다.
예를 들어, 어린이를 위한 추천 시스템의 명세를 작업할 때, AIID를 통해서 1번 Incident - 유튜브 키즈 시스템이 부적절한 컨텐츠를 추천한 경우 - 를 확인할 수 있습니다. 이렇게 Incident 1번을 확인하고 난 후에는 Product Manager가 제품 개발 과정에서 기술, 마케팅, 컨텐츠 관리 차원에서 유사한 사건을 방지하기 위한 요구사항을 정리할 수 있을 것입니다.
Risk Officers
조직적인 관점에서, Risk Officer는 기업의 활동과 관련된 전략적 리스크, 평판 리스크, 운영 리스크, 재무 리스크, 컴플라이언스 리스크 등을 관리하고 최소화하는 책임자입니다.
자동 번역 기능을 출시하고자 준비하는 SNS 서비스가 있다고 해 봅니다. AIID에 '번역'이라는 단어로 검색을 하면 40개의 보고서가 나오는데, 이들 중 Incident 72번은 한 다른 SNS에서 "Good Morning"이 "Attack Them"으로 번역되어 결과적으로 사용자가 체포되는 상황에까지 이른 사례입니다.
이 '사건'을 발견한 이후, Risk Officer는 보고서를 꼼꼼히 읽고, 현재의 기술적 한계로 이런 사건을 원천적으로 방지하는 것은 어렵지만, '이 텍스트는 번역된 것입니다'라는 등의 표식을 하여 리스크를 완화하는 등 다양한 베스트 프랙티스가 있다는 것을 알 수 있습니다.
Engineers
엔지니어도 AIID를 통해서 본인이 개발한 시스템이 실 환경에 배포되기 전에 보다 깊은 이해와 대비를 할 수 있습니다.
이미지 인식 시스템을 가진 자율주행차를 개발하는 엔지니어가 있다고 해 봅시다. Incident 36번 - 중국의 한 버스 옆면에 여성의 사진이 붙어 있었는데, 이것을 무단 횡단하는 여성으로 인식한 경우 - 의 예를 보면, 특정한 환경 하에서 이미지 인식 시스템이 오작동하기 쉽다는 것을 알 수 있습니다. 따라서 이런 사례를 방지할 수 있도록 하는 테스트가 개발 과정에 도입되어야 합니다.
Researchers
많은 연구자들이 이미 인공지능 시스템의 안전 및 공공성 확보를 위한 방법론에 대해 연구를 하고 있지만, 실제 이 연구자들이 전 세계의 여러 곳에서 일어나고 있는 인공지능 관련 '사건'을 추적하기 위한 방법은 부족합니다.
예를 들어, '경찰' 업무와 관련되어 활용되는 인공지능 시스템의 '사건'이 시간이 지나면서 어떻게 변화 - 증가, 감소 등 - 하는지 확인하기는 어렵습니다. AIID에 '경찰'이라는 단어로 검색을 한다면, 현재 기준 14개의 보고서가 나오는데, 14개 각각의 보고서가 연구 논문에서 참조할 수 있는 내용들이며, 이후 이와 관련된 연구 논문도 데이터베이스에 관련 Incident와 연계하여 심화 보고서로 저장할 수 있습니다.
AIID의 다음 단계는 무엇인가?
Partnership on AI의 AIID 데이터베이스가 어느 정도 성공적으로 안착할지 여부는 아직 알 수 없지만, 최소한 단지 개별적인 인공지능 시스템에 대한 체크, 규제를 넘어서 통계적으로 유의미한 인공지능 관련 사고를 수집, 분석하고 이를 다양한 이해관계자가 활용할 수 있도록 하겠다는 좋은 시도, 좋은 출발점이라는 것은 분명합니다. 이런 과정을 통해서 궁극적으로 실세계에 적용되는 인공지능 시스템의 부정적 영향을 줄여 나갈 수 있게 될 것입니다.
Partnership on AI에 따르면, AIID에 대한 초기 반응은 뜨겁습니다. 이 데이터베이스에 대한 소식을 알리기 전부터도, Big 4 회계법인, 국제적인 컨설팅사, 법률회사, 연구기관, 그리고 개별 연구자 등으로부터 많은 협업 요청을 받았습니다.
시간이 지나면서, 이 데이터베이스가 소규모의 개개인이 시작했던 작업으로부터 커뮤니티 기반의 인프라스트럭쳐로 성장해 나가고, 일반 대중과 사회로 하여금 인공지능 시스템의 효익을 충분히 누릴 수 있도록 하는 기반이 될 수 있기를 바랍니다. 또한, 우리나라에서도 이와 유사한, K-AIID라고 할 수 있을만한 Initiative가 시작되어야 하리라고 봅니다.
인공지능 기술은 이미 우리 사회에 여러 곳에 도달해 있습니다. 우리 모두의 AIID에 대한 기여가 인공지능 시대에 인류가 한 차원 더 높은 성장을 할 수 있도록 도와줄 것입니다.
"과거를 기억하지 못하는 이들에게 과거는 반복된다" - George Santaya
