인공지능에 대한 적대적 공격
학습여정
“제가 학습하고 있는 강의를 정리하여 공유합니다. 함께 발전하길 바랄 뿐입니다.”
AI 시스템이 어떻게 적대적 공격에 취약할 수 있는지를 설명합니다. 적대적 공격이란, 누군가가 AI 시스템을 속이기 위해 이미지를 미세하게 수정하는 것을 말합니다. 예를 들어, 한 이미지를 약간 변경했을 때, AI는 그 이미지를 전혀 다른 것으로 잘못 인식할 수 있습니다. 이는 AI가 세상을 인간과 다르게 인식하기 때문에 발생하는 현상입니다.
이러한 공격은 AI가 스팸 필터링이나 혐오 발언 감지와 같은 중요한 작업을 수행할 때 그 효과를 감소시킬 수 있습니다. 예를 들어, 누군가가 스톱 사인에 스티커를 붙여 AI가 이를 인식하지 못하게 할 수 있습니다.
적대적 공격의 이해
AI 시스템은 미세한 이미지 변경으로 잘못된 분류를 할 수 있습니다.
예를 들어, 새의 이미지를 약간 수정하면 AI가 이를 전혀 다른 객체로 인식할 수 있습니다.
적대적 공격의 예
도로 정지판에 스티커를 붙여 AI가 이를 인식하지 못하게 할 수 있습니다.
특정 스티커를 사용하여 AI가 바나나를 토스터로 잘못 인식하게 할 수 있습니다.
방어 기술의 발전
AI 연구자들은 이러한 공격에 대한 방어 기술을 개발하고 있습니다.
그러나 이러한 방어는 시스템의 속도를 저하시킬 수 있으며, 연구가 계속 진행 중입니다.
예시: 자율주행차의 스톱 사인 인식 문제
상황 설명: 자율주행차는 도로에서 스톱 사인을 인식하여 안전하게 정지해야 합니다. 그러나 연구자들이 스톱 사인에 특정 스티커를 붙이는 실험을 진행했습니다.
적대적 공격: 스티커를 붙인 스톱 사인은 AI 시스템이 이를 인식하지 못하게 만들었습니다. AI는 스톱 사인을 다른 객체로 잘못 인식하게 되어, 자율주행차가 정지하지 않고 계속 주행할 위험이 발생했습니다.
왜 이 사례가 중요한가?: 이 사례는 AI 시스템이 어떻게 인간의 눈에는 보이지 않는 미세한 변화에 속을 수 있는지를 보여줍니다. 자율주행차와 같은 안전-critical 시스템에서 이러한 취약점은 심각한 사고로 이어질 수 있습니다.
연관성: 이 사례는 당신이 관심을 가질 수 있는 IT 프로젝트 관리나 데이터 과학 분야와 관련이 있습니다. AI 시스템의 안전성과 신뢰성을 보장하는 것은 이러한 분야에서 매우 중요한 문제입니다.
→ Digitalian: 요즘 들어, 인공지능에 대한 위협적 기사와 논쟁이 많습니다. 유럽에서는 AI관련 법제화가 오늘 통과했다고 하네요. 거꾸로 보면, 위협이란 것에만 초점을 맞출 겨를이 없다고 봅니다. 왜냐하면 이제 진짜이니까요. 법제화라는 말은 곧 일상화, 실제적용, 활용가치, 수익성, 등등 많은 부분이 변화가 아니라, 거의 '변신'할 거라고 생각합니다. 과거 말 타고 다녔던 사람들이 자동차 생겼을 때와 같은 이유라고 억지로 생각해 봅니다. 댐은 열렸다 못해 터진 상태로 흘러나가고 있습니다. 이제 나는 어떻게 적응할까? 에 초점을 맞추는 것이 제 위치에서 할 수 있는 최선이라고 생각이 드네요.
※본 요약은 ‘공정 이용(fair use)’사용 목적으로, Stanford University의 Coursera강의 ‘모두를 위한 AI’를 수강하며 작성한 요약이며, 직접적인 강의 내용 복사, 슬라이드 캡처등은 저작권에 의하여 엄격히 보호됩니다. - 앤드류 응(Andrew Ng)의 강의 by Coursera Plus - "Learning Notes and Summaries by digitalian”
