[덕] AI, '안전'과 '보안'의 경계?
신뢰를 위한 통합적 거버넌스를 향하여
2025년 1월에 발표된 ‘국제 AI 안전 보고서 2025’(AI Safety Report)’는 인공지능이 인류에게 안겨줄 기회와 함께, 우리가 직면해야 할 실존적 위험에 대한 전 지구적 논의의 서막을 열었습니다. 이 보고서는 단순히 기술적 잠재력을 넘어, AI의 발전이 사회 시스템과 안전 패러다임 자체에 근본적인 질문을 던지고 있음을 시사합니다. 특히 AI 시대는 우리가 오랫동안 구분하여 사용해 온 '안전(Safety)'과 '보안(Security)'이라는 개념의 경계를 허물며, 이 둘을 통합적으로 바라보는 새로운 관점을 요구하고 있습니다.
전통적 '안전'과 '보안'의 관계
전통적으로 안전과 보안은 위협의 성격에 따라 구분되어 왔습니다. 안전은 주로 기계의 결함, 자연재해, 혹은 운영자의 비의도적인 실수(Human Error)로 인해 발생하는 사고로부터 사람의 생명과 신체를 보호하는 것을 목표로 합니다. 예를 들어, 공장 운영자가 실수로 밸브를 잘못 조작해 유해 물질이 누출되었다면 이는 명백한 '산업 안전' 사고의 범주에 속합니다.
반면 보안은 해커, 범죄자와 같이 악의를 가진 외부 행위자의 의도적인 공격으로부터 정보나 자산을 보호하는 데 중점을 둡니다. 하지만 사이버 정보 영역에서는 내부 직원의 부주의나 실수로 인해 정보가 유출되거나 시스템이 손상되는 것 역시 '보안 사고'로 다룹니다. 정보 자산의 기밀성, 무결성, 가용성을 훼손하는 모든 사건을 포괄하기 때문입니다.
이처럼 두 개념은 각기 다른 영역에서 발전해왔지만, AI 시대 이전에도 서로 영향을 주고받는 관계였습니다. 보안 시스템이 뚫려 물리적 안전이 위협받는 경우가 그 예입니다.
AI, '안전'과 '보안'의 경계를 허물다
문제는 AI, 특히 사물인터넷(IoT)이나 로봇과 결합된 AI가 물리적 세계에 직접적인 영향을 미치는 '사이버-물리 시스템(Cyber-Physical System)'은 이 전통적인 구분을 무의미하게 만듭니다. AI 시스템에서는 안전과 보안 문제가 더 이상 별개의 사건이 아니라, 하나의 현상으로 융합되어 나타납니다.
AI 스마트 팩토리를 상상해 봅시다. 운영자가 AI 로봇팔의 작동 속도 파라미터를 실수로 높게 설정했습니다. 이 작은 실수는 시스템 설정의 '무결성'을 해치는 보안(Security) 사고인 동시에, 과속으로 작동한 로봇이 물리적 사고를 유발할 수 있는 심각한 안전(Safety) 문제를 야기합니다. 사이버 세계의 클릭 한 번이 물리적 세계의 재앙으로 직결되는 것입니다.
AI는 다음과 같은 방식으로 안전과 보안의 관계를 더욱 복잡하게 얽어맵니다.
새로운 공격 지점의 등장: 전통적인 시스템과 달리, AI는 학습 데이터와 모델 자체가 공격의 대상이 됩니다. 해커가 AI의 학습 데이터에 악의적인 정보를 주입하는 '데이터 오염(보안 공격)'을 가하면, AI는 겉보기엔 정상적으로 작동하다가 특정 상황에서 치명적인 오작동(안전 사고)을 일으키는 시한폭탄이 될 수 있습니다.
안전 결함이 보안 취약점으로: AI 모델이 특정 데이터에 대해 편향성을 갖는 것은 설계 단계의 '안전' 문제입니다. 그러나 공격자는 이 안전상의 허점을 역으로 이용해 시스템을 통과하거나 원하는 결과를 유도하는 '보안' 공격의 통로로 삼을 수 있습니다.
'신뢰할 수 있는 AI'를 위한 통합적 거버넌스
안전과 보안의 위험이 이처럼 융합된다면, 이에 대응하는 우리의 전략 역시 통합되어야 합니다. 이제 우리는 '신뢰할 수 있는 AI(Trustworthy AI)'라는 더 큰 목표 아래, 두 개념을 함께 아우르는 새로운 패러다임을 구축해야 합니다.
이를 위해서는 분절된 대응에서 벗어나 통합적 AI 위험 관리(Unified AI Risk Management) 체계를 마련하는 것이 시급합니다. AI 시대의 위험 관리가 왜 더 복잡하고 중요한지를 명확하게 보여줍니다. 물리적 시스템과 사이버 시스템을 분리해서 관리하던 전통적인 방식으로는 더 이상 대응할 수 없습니다. AI의 '안전'과 '보안'은 별개도, 포함 관계도 아닌, 하나의 목표(신뢰할 수 있는 AI)를 위한 두 개의 필수적인 기둥이며, 특히 '인간과 AI의 상호작용'이라는 지점에서 서로 강력하게 얽혀 들어갑니다.
따라서 AI 시스템의 설계 단계부터 운영, 폐기에 이르는 전 과정에서 안전과 보안을 함께 고려하는 강력한 AI 거버넌스가 필요합니다. 이는 단순히 기술적 해결책을 넘어, 기술, 인간, 프로세스가 상호작용하는 하나의 '사회-기술 시스템(Socio-technical System)' 관점에서 위험을 총체적으로 관리해야 함을 의미합니다.
‘국제 AI 안전 보고서’는 경고등을 켰을 뿐입니다. 이제 그 불빛 아래서 길을 찾는 것은 우리의 몫입니다. 2024년 9월 유엔이 발표한 ‘인류를 위한 AI 거버넌스(Governing AI for Humanity)에서 언급했듯이, AI 시대의 진정한 신뢰는, 사고와 공격의 경계가 모호해진 새로운 위험 환경에 맞춰 안전과 보안을 하나로 묶어 관리하는 통합적 거버넌스를 구축하는 데서부터 시작될 것입니다.
