Safety by Design, AI 안전 패러다임
AI 개발에 안전모를 씌운다면
혁신적인 AI 기술이 우리 삶 모든 영역에 빠르게 스며들고 있는 가운데 AI의 악용가능성, AI의 기술적 한계 때문에 각국 정부(EU , 미국, 한국)는 어떤 노력을 기울이고 있는지에 대해 알아보았다. 다만, 기술의 발전 속도가 규제 속도보다 훨씬 빠르게 진행되고 있기 때문에 AI 개발자와 기업들이 규제에 대한 피동적 대응이 아니라 적극적인 자율규제와 윤리적 개발로 앞장서야 한다는 요구가 높아지고 있다. 세계 유수의 AI 기업들도 이런 사용자들의 요구에 발맞춰 움직이고자 노력하고 있다. 그중 하나가 AI 개발에 “Safety by Design” 원칙을 적용하는 것이다.
Safety By Design (SbD) 이란?
Safety by Design은 제품이나 서비스, 시스템을 개발 및 운영 모든 단계에서 안전을 최우선으로 고려하여 설계하는 것을 의미한다. 단순히 개발 완료 후 문제를 해결하는 것이 아니라, 초기 기획 단계부터 안전을 위한 다양한 조치를 취함으로써 위험을 최소화하는 것이다. 이 원칙은 사실 건축이나 위험물질을 다루는 산업에서는 이미 널리 적용되고 있는 방법론이었으나 여러 해 전부터 테크 업계에서도 적극적으로 도입하고 있다. 한국에서는 아직 광범위하게 사용되지 않는 용어라 그런지 공식 번역어는 아직 존재하지 않는다. ‘안전성 우선 설계’ , ‘안전 예방 설계" 또는 "안전을 고려한 설계’, ‘설계에 의한 안정성’ 등 다양하게 번역된다. 여기서는 편의상 Safety by Design을 쓰겠다.
핵심은 “위험이 발생하기 전에 미리", “생애주기 모든 단계에 걸쳐", “조직의 모든 이들에게" 적용하는 것이다. 호주의 디지털 범죄 대응 최고 기관인 온라인안전위원회(eSafety Commissioner)*에서는 특히 온라인상의 Safety by Design 원칙에 대해 “는 온라인 위협이 발생하기 전에 예측, 탐지, 제거하여 온라인 공간을 안전하게 만드는 것 (anticipating, detecting, and eliminating online threats before they occur.)”이라고 말한다. 이에 더해 ‘속도'나 ‘이윤'보다 안전에 대한 고려가 우선되어야 한다는 원칙이 조직의 문화, 리더십에 녹아 있어야 한다고 강조한다.
*호주의 온라인안전위원회(eSafety Commissioner)는 호주의 디지털 규제 관련 정부 기관으로 X에 과징금 철퇴를 내리며 엘론 머스크와 각을 세우며 국내 기사에 여러 번 언급되기도 했다.
AI에 Safety by Design 원칙을 적용하면?
Safety by Design을 AI 기술에 적용하려면 어떻게 해야 할까? 먼저 이에 앞서 AI기술에서 안전성(Safety)이 무엇을 의미하는지 정리해 볼 필요가 있다. 미국 조지타운 대학 Center for Security
and Emerging Technology의 Tim G. J. Rudner와 Helen Toner에 따르면, AI 안전성은 기술적 문제뿐 아니라 윤리적, 사회적 측면의 영향을 종합적으로 고려하여 AI 시스템으로 인해 발생할 수 있는 사고, 오용 또는 기타 유해한 결과를 방지하는 것이다. 다학제적(interdisciplinary) 문제로 일부 보안팀이나 기술팀이 전담할 수 있는 문제도 아니고, 기술적 해결책을 통해서만 해결할 수 있는 문제도 아니다. AI 기술의 개발 및 사용에 관계된 모든 조직과 구성원이 책임 있는 AI 기술 개발 및 이용을 위해 힘을 써야 한다. 이를 위해서는 단순히 악용 방지 장치를 내재한 견고 시스템을 만드는 것뿐만 아니라 개발 후에도 AI 시스템의 위험을 모니터링하고, 안전한 사용을 위한 규범과 정책을 개발 집행하는 거버넌스 구축을 포함한다.
AI 안전을 단순한 기술적 문제로 환원해서는 안 된다AI의 안전성이 이렇게 포괄적인 개념이라는 점을 주지한 상태에서 Safety by Design 원칙 적용 방안을 고민해 보자. Safety by Design 원칙이 제품의 모든 생애주기에 적용되는 원칙인 만큼, AI 개발의 모든 단계를 펼쳐 보고 각 단계별 발생 가능한 위험을 식별, 평가하고 그에 맞는 안전 확보 방안을 마련해 나갈 필요가 있다. 조금씩 차이는 있지만 대략 AI 생애 주기는 기획단계, 데이터 수집 및 처리, 알고리즘/모델 설계, 모델 학습 및 조정 등의 개발단계, 시장에 제품을 발매하는 배포단계, 사후 모니터링 및 관리가 포함되는 운영단계로 나눠볼 수 있다.
AI 생애주기에 Safety by Design 적용하기
여기서 빠진 ‘0 단계’로는 기획 단계를 생각해 볼 수 있다먼저, 기획 단계에서 Safety by Design 원칙을 적용해 보자. 기획 단계에서는 우선 시스템 개발 및 이용과정에서 발생할 수 있는 모든 잠재적인 위험을 미리 파악해 볼 필요가 있다. 예를 들어, 데이터 편향, 알고리즘 오류, 악의적인 공격 등 발생 가능한 위험을 식별하는 작업이 요구된다. 다음으로는 이를 바탕으로 안전목표를 설정해야 한다. 시스템과 프로세스가 달성해야 할 구체적인 안전 목표를 명확히 정의하는 것이다. 예를 들어, 자율주행차의 경우 '보행자와의 충돌을 최소화한다'와 같은 목표를 설정할 수 있다. 마지막으로 AI 생애주기 전 단계에서 지켜야 할 원칙을 수립할 수 있다. 예를 들어, 개인정보 보호, 공정성, 책임성 등을 모든 개발 단계에서 지켜야 할 원칙이자 상충하는 우선순위에서 먼저 고려해야 할 요소로 확립실 수 있다. 요약하면, 위험식별, 안전목표 설정, 안전 원칙 확립이 필요하다.
다음으로는 개발 단계다. 제일 첫 번째 관문은 데이터 수집 및 가공이다. 이 단계의 안전성 확보를 위해서 편향된 데이터를 제거하고, 개인정보 보호 규정을 준수하며, 데이터 품질을 관리해야 한다. 전편에서 언급했듯 AI 모델을 두고 ‘쓰레기를 넣으면 쓰레기가 나오는 Garbage in Garbage out’ 모델이라고도 한다. 양질의 데이터가 양질의 AI를 만든다. AI가 먹고 자랄 데이터 수집 및 정제에 신경을 써야 하는 이유다. 설명 가능한 알고리즘 모델을 사용하는 것도 중요하다. AI를 블랙박스 모델이라고도 하는데, 사람이 설명하지 못한 변수에서 모델의 취약성이 발생하는 경우 수습도 어렵다. 지속적인 테스트도 필요하다. 다양한 상황과 조건에서 시스템을 테스트하고, 범죄자나 공격자의 입장에서 취약성을 노리는 레드팀 테스팅도 요구된다. 마지막으로는 시스템의 성능과 안전성을 실시간으로 모니터링할 수 있는 시스템을 구축하는 것도 필요하다. 안전 계기판 역할을 하게 될 것이다.
배포 단계에서도 안정성 고려가 필요하다. 안전한 배포 환경 구축을 위해 보안이 강화된 인프라를 구축하고, 침입 탐지 시스템을 도입할 수 있다. 또한 사용자 교육 차원에서 시스템의 안전한 사용 방법을 교육하고, 피드백 수집 채널을 마련할 필요가 있다. 사용자의 피드백이 시스템의 오류나 결함, 취약점을 발견하고 대응하는 데 도움이 되도록 환류 과정을 구축해야 한다.
사고 대응 프로세스끝으로 운영단계에서는 시스템의 성능을 지속적으로 모니터링하고, 새로운 위협에 대응하기 위해 AI 모델을 업데이트해야 한다. 사고 보고 및 분석 프로세스도 확립해야 한다. 사고가 발생하는 경우 이를 신속하게 보고하고 대응하여 피해를 최소화하는 한편, 문제점을 분석하여 개선 과제를 도출하고 이행하는 프로세스를 정립해야 한다.
케이스 분석: Safety by Design 원칙을 통한 구글, 메타, 오픈AI, 마이크로소프트, AI 선두 기업들의 아동성착취 방지노력
이제 앞서 살펴본 이론적 차원의 AI Safety by Design 원칙이 현실에서 어떻게 적용되고 있는지 살펴보자. 최근 Thorn*은 ‘올 테크 이즈 휴먼’(All Tech Is Human)와 손을 잡고 아마존, Anthropic, Civitai, 구글, 메타, Metaphysic, 마이크로소프트, Mistral AI, 오픈AI, 스태빌리티 등 AI 선도 기업들과 아동 성착취 보호를 위한 AI 안전 원칙에 합의했다. 합의를 이끈 단체들은 아동 성 관련물이 담겼을 수 있는 정보를 피하고, AI 학습용 자료에서 아동 성 관련물 삭제를 기업들에 요청했고 AI 도구로 인한 법 집행의 어려움을 해소하기 위해 콘텐츠가 AI에 의해 만들어졌는지를 확인할 수 있도록 표식을 추가하기로 했다. 이 같은 성과의 근간에 Safety by Design 원칙이 있다.
*Thorn은 온라인 아동 성 착취를 방지하기 위해 설립된 비영리단체다.. 당시 유명한 배우 부부였던 Ashton Kutcher와 Demi Moore가 공동 설립했다). Thorn은 기술, 법 집행, 그리고 커뮤니티 파트너십을 통해 아동을 보호하고 온라인에서 발생하는 아동 성 착취물(CSAM)을 근절하기 위해 노력하고 있다.
Thorn은 Safety by Design에 대해 “제품 설계에 대한 선제적인 접근 방식으로, 기업이 개발 과정에서 위협이 발생할 수 있는 부분을 예측하고 피해 발생 후 사후 조치가 아닌 필요한 보호 장치를 설계하도록 요구”한다고 했다. 더불어 “AI 프로세스의 각 단계, 즉 개발부터 배포, 유지 관리까지 아동에 대한 성적 피해를 예방하고 완화할 수 있는 기회가 있다"라고 말했다. 앞서 살펴보았듯이 AI 생애주기 전반에 걸쳐 Safety by Design 원칙을 적용한다는 것이다.
Thorn 먼저 개발단계에서는 아동 안전 위험을 사전에 해결하는 생성형 AI 모델 개발, 구축 및 훈련을 위해 엄격한 감지 및 제거 프로세스를 구현하여 데이터세트에 아동성착취물(CSAM)이 없는지 확인하고, 개발 프로세스 전반에 걸쳐 모델을 정기적으로 스트레스 테스트하면서 취약점을 식별하고 안전 개선 사항을 통합해야 한다고 한다. 또한 콘텐츠 출처를 파악할 수 있는 워터마킹 솔루션을 통해 생성된 콘텐츠 내에 미세한 신호를 삽입하여 AI가 생성한 아동성착취물(CSAM)을 식별해야 한다고 조언한다. 이러한 조치는 법 집행 기관 및 기타 기관이 유해한 콘텐츠를 신속하게 탐지하고 대응하는 데 도움이 된다.
배포단계에서는 아동 안전을 위해 훈련 및 평가된 생성형 AI 모델만을 출시 및 배포하고, 생성형 AI 시스템 전체 프로세스에서 악용 콘텐츠 생산 및 유포 방지를 위한 노력을 통합해야 한다. 이를 위해 생성형 AI 기업은 실시간 신고 옵션과 사용자 피드백 경로를 구축해야 한다. 사용자가 직관적이고 접근 가능한 신고 메커니즘을 통해 아동 안전 정책을 위반할 수 있는 콘텐츠를 신고할 수 있도록 하는 것이다. 또한 배포 전에는 레드 티밍을 통한 적대적 테스팅을 시행하고, 배포를 시작할 때에는 단계적 배포를 통해 부작용을 줄여야 한다. 또한 생성 AI 개발자에게 모델에 대한 정보를 제공하고, 아동 안전 섹션을 포함하여 모델의 하류 오용으로 인한 아동에 대한 성적 피해를 방지하기 위해 취한 단계를 자세히 설명하게 함으로써 책임을 부여해야 한다.
마지막으로 유지 관리 단계에서는 아동 안전 위험을 지속적으로 이해하고 대응할 수 있는 탄탄한 집행 메커니즘을 구축해야 한다. 정부에 대한 주기적 보고의무 등 법적 요구 사항을 충족하기 위해 정보를 보존하고, 위반자에 대해 적절한 조치를 취하는 등 위반자를 처리하기 위한 명확한 절차를 수립해야 한다. 이러한 메커니즘은 반복적인 위반을 방지하고 AI 기업의 책임성을 담보할 수 있다. 나아가 아동안전 보장 기술에 대한 지속적인 연구 및 투자가 요구된다. 진화하는 악용 기술과 전략을 앞서기 위함이다. 마지막으로 업계 전반의 협력과 표준화된 안전성 평가의 개발을 위한 협력이 필요하다. 생성 AI가 아동성착취물을 생성하게 유도하는 악성 프롬프트의 공유 데이터 세트를 구축하고, 관련 분야 정부 및 민간 연구 조직과 파트너십을 맺어 협력을 추진할 필요가 있다. 아동안전 보호를 위해 집단 지성을 이용하는 것이다.
Thorn이 생성형 AI 분야에서 아동성착취물을 근절하기 위해 마련한 Safety by Design 원칙에 대한 상세 내용은 이 보고서 원문을 통해 더 자세히 알아볼 수 있다.
Safety by Design에 대한 오해
Safety by Design은 AI 제품에 대한 사회적 신뢰 확보할 뿐 아니라 기업들에게도 법적 분쟁의 위험을 줄이고 제품에 대한 신뢰로 고객충성도와 장기적 수익 창출, 시장 내 경쟁력 확보에도 순기능을 한다. 아마존, 구글, 오픈AI 등 선도기업이 이 원칙을 적극 수용하고 활용해 나가는 데에도 다 이유가 있다. 그럼에도 불구하고 Safety by Design에 대한 오해 때문에 이를 삐딱하게 바라보는 시선들이 있다. 대표적인 오해들을 살펴보겠다.
오해 하나, Safety by Design은 중요한 영역의 AI 시스템에만 필요하다?
일각에서는 Safety by Design은 의료, 자율주행차, 금융 시스템 등 일부 분야에서만 중요하지, 상대적으로 사회적 중요도가 낮은 분야에서는 중요하지 않다고 주장도 있다. 그러나 실제로는 모든 AI 시스템에 Safety by Design은 중요한 역할을 한다. 특정 분야나 시스템의 크기를 가리지 않는다. 심지어 무해해 보이는 챗봇이나 콘텐츠 추천 알고리즘도 처음부터 안전성을 우선시하지 않으면 예상치 못한 결과를 초래할 수 있다. 전편에서 언급한 챗봇 이루다 사건이 그 예다.
오해 둘, Safety by Design 때문에 AI 경쟁에서 뒤처진다?
탄탄한 안전이 탄탄한 제품의 기반이 된다Safety by Design를 구현하는 데는 당연히 초기 투자와 시간, 노력이 필요하다. 이 때문에 이 노력을 단순히 ‘귀찮은' 장애물로 보는 시각이 있다. 그러나 Safety by Design 시스템의 중장기적 안정성과 효율성 증진, 개발 속도 향상에 도움을 줄 수 있다. 잠재적인 문제를 조기에 파악함으로써 개발자들은 시간 소모적인 수정, 모델 재훈련 또는 전체적인 개편을 피할 수 있다. 이러한 사전 예방적 접근 방식은 규제 요구 사항을 더 효율적으로 충족하여 배포 경로를 가속화할 수 있다. 제품 출시를 하루 앞두고 모든 것을 다 뜯어고쳐야 하는 불상사를 방지할 수 있다.
오해 셋, Safety by Design은 윤리팀이나 정책팀, 안전 전문가만의 책임이다?
AI 개발에서 Safety by Design은 데이터 과학자, 머신러닝 엔지니어, UX 디자이너, 도메인 전문가를 포함한 협력적인 노력이어야 한다. 각 팀원은 잠재적인 위험과 안전 고려 사항에 대한 독특한 통찰력을 제공한다. 이러한 다학제적 접근 방식이 더 포괄적인 안전 조치와 더 잘 설계된 AI 시스템으로 이어진다. 다른 누구도 아닌 바로 당신의 전문성이 가장 빛을 발할 수 있다.
오해 넷, Safety by Design은 개발 단계에서만 잘 지키면 된다?
AI 안전성은 일회적으로 달성 가능한 목표가 아니라 지속적인 프로세스다. AI 시스템이 실제 데이터와 사용자와 상호 작용함에 따라 새로운 편향, 취약성 또는 의도하지 않은 동작이 나타날 수 있다. 지속적인 모니터링, 정기적인 감사 및 반복적인 개선은 AI 시스템의 안전성을 유지하는 데 필수적이다.
오해 다섯: Safety by Design도 다 자동화할 수 있다?
Safety by Design은 더 안전한 AI 시스템을 만들기 위한 목표이지만, 인간 감독의 필요성을 완전히 대체하지는 않는다. 적절한 거버넌스 구조, 명확한 사고 대응 절차 및 지속적인 모니터링에서 사람의 역할이 요구된다. 책임성 규명 면에서도 그렇다 특히 고위험 의사 결정을 내리거나 역동적인 환경에서 운영되는 AI 시스템에 중요하다.
Safety by Design을 위한 마지막 변론
Safety by Design은 AI 개발의 모든 단계에서 안전을 최우선으로 고려하는 체계적인 접근 방식이자 원칙으로 업계뿐 아니라 시민단체, 정부 등의 규제기관으로 퍼져나가고 있다. 사후약방문이 아니라 예방적인, 어느 한 분야 사람들이 독박을 쓰거나 각자의 밀실에서 이뤄지는 안전이 아닌 종합적이고 협력적인 노력과 협업, 일부 단계가 아닌 전 생애주기에서 안전을 고려하고, 이 조치에 대해 팀 내외 및 사용자에게 투명하고 충분한 정보를 제공하는 게 핵심 원칙이다. 이러한 안전 원칙은 사용자에 대한 보호뿐 아니라 사용자 신뢰를 구축하고 규제 준수를 보장하며 궁극적으로 AI 기술의 장기적인 성공과 긍정적인 영향력에 기여한다.
너무 이상적인 것을 요구하는 게 아니냐고? 완벽한 안전은 없다. 그래도 귀가 따갑게 안전을 강조하는 게 그렇지 않은 편보다 훨씬 낫다. AI의 모든 공정, 모든 단계, 모든 이에게 말이다. 안전에 대한 넛지(nudge)에 지겹도록 반복해 넣다 보면, 잊고 싶어도 잊기 어려울 것이다.
Safety by Design 원칙의 개론 수준의 소개는 여기서 마치기로 한다. 이어지는 글에서는 구체적으로 이 Safety by Design 원칙을 구현하기 위한 기술적 해결책들이 있는지 살펴보기로 한다. AI 시스템의 각 단계와 특성에 따라 다양하게 적용될 수 있다. 이러한 기술적 해결책들을 살펴본 후 기술만으로는 해결할 수 없는 거버넌스 문제에 대한 해결책들을 탐구해 보기로 한다.
