AI 도전 과제(4편: 보안)
AI의 위협, 명확한 규제와 정책 필요
안녕하세요.
데이터 스포일러입니다.
기술 트렌드를 이해하실 수 있도록 정보를 요약해서 공유해 드리겠습니다. 많은 관심 부탁 드립니다.^^
구글 전 CEO인 에릭 슈미트가 12월 15일(현지시간) ABC 뉴스에 출연해 '인공지능의 급격한 발전이 인류에게 위험이 될 수 있다'라고 경고했습니다.
왜 이런 말을 했을까요?
AI 기술은 이전 글에서 언급한 금융, 헬스케어, 제조와 같은 일반 산업뿐만 아니라, 군사 및 감시 시스템과 같은 분야에서도 활용되기 위해 다양한 시도가 이루어지고 있습니다.
AI는 사람들의 편의를 높이고 기업의 비용 절감을 도우며, 국가 안보를 강화하는 데에도 기여할 수 있습니다. 이러한 이유로 이제 AI는 '활용할 것인가'의 선택지가 아니라, '활용하지 않으면 뒤처진다'는 인식이 확산되고 있습니다.
하지만, 에릭 슈미트는 AI의 발전이 너무 빨라서 인간의 통제가 어려워지고 있고, 통제가 안 될 미래에 대해 우려가 되므로 명확한 규제와 정책이 필요하다는 것을 강조했습니다.
해외 기업들의 생성형 AI 활용에 대한 규제 현황을 알아볼까요?
<출처: ChatGPT 보안 위협과 시사점, KISA, 2023)위 내용을 요약해 보면, 사용 금지 조치한 주요 사유는 '정보 유출'과 '환각 정보'입니다. 이것은 개인과 기업/학교 모두 다 해당되죠.
첫 번째로, 정보 유출입니다.
생성형 AI는 업무 생산성을 향상시키고 개인들의 편의성을 높일 수 있지만, 반대로 질의하는 모든 정보는 유출될 가능성이 있습니다.
왜냐하면, 사용자가 ChatGPT에 입력한 정보는 사용자 콘텐츠로 OpenAI 서버에 저장되기 때문에, OpenAI 社에 발생하는 보안 사고, 우회 질문을 통한 민감정보 유출, 인공지능 모델이나 서비스에 대한 해킹 공격 등으로 인해 사용자가 입력한 정보가 유출될 수 있습니다.
따라서, 개인정보나 회사 기밀정보 등 민감정보를 ChatGPT에 입력하지 않도록 주의해야 합니다.
두 번째로, 환각 정보입니다.
ChatGPT는 질의한 문장의 맥락을 이해하고, 최적의 답변을 생성해 주는 모델입니다. 다만, 잘못된 정보나 무의미한 내용이어도 사실과 같이 답변을 만들어내어 제공하므로 결과물에 대한 사실 여부를 재검증하지 않으면, 잘못된 정보가 오용되고 확산될 수 있습니다.
위 2가지 문제 사용자(개인, 기업 직원 등)가 주의하도록 규제하면 제어가 가능한 영역입니다.
만약, 인공지능 자체 모델이 공격을 받아 보안에 문제가 생기면 어떻게 될까요?
사이버 공격을 통해 AI가 학습하는 데이터를 변조하거나 악의적인 데이터를 주입한다면, 인공지능을 오작동시키고 모든 산업별로 위협을 받을 것이 분명합니다.
에릭 슈미트가 말한 '인간의 통제'가 약해지면 약해질수록 더 그렇겠죠.
악의적인 데이터 변조와 데이터 주입 사례를 알아볼까요?
첫 번째는 데이터 변조입니다.
데이터 변조를 하는 목적은 입력 데이터에 최소한의 변조를 가해 머신러닝을 속이기 위함입니다. 사람의 눈으로는 식별하기 어려운 방식으로 이미지를 변조해 머신러닝 이미지 분류 모델이 착오를 일으키게 만드는 수법인데요. 이러한 공격 방식을 회피 공격(Evasion attack)이라고 부릅니다.
2017년, 워싱턴 대학의 연구팀은 교통 표지판에 스티커를 부착하는 방식으로 자율주행차의 표지판 인식 시스템을 혼란에 빠뜨리는 실험을 진행했습니다. 이를 통해 자율주행차가 '정지' 표지판을 '속도제한' 표지판으로 잘못 인식하는 사례를 보여주었습니다.
<출처: 케빈 에이크홀트 외 8인, “Robust Physical-World Attacks on Machine Learning Models”>우리가 일반적으로 알고 있는 자율주행의 사이버 공격은 네트워크를 해킹하여 자동차를 제어하는 등의 행위인데요. 위의 사례는 해킹보다는 자율주행의 근간이 되는 "학습 엔진"이 스스로 잘못 판단하도록 하는 것입니다.
두 번째는 데이터 주입 사례입니다.
데이터 주입을 하는 목적은 의도적으로 악의적인 학습 데이터를 주입해 머신러닝 모델을 망가뜨리는 공격을 하기 위함이고, 이러한 사이버 공격을 "중독 공격(Poisoning attack)'이라고 부릅니다. 중독 공격이 다른 머신러닝 공격 기법과 다른 점은 모델 자체에 공격하여 영향을 준다는 것입니다.
중독 공격의 대표적인 사례로는 마이크로소프트의 트위터봇 '테이' 사건(2016년)이 있습니다. 일부 트위터 사용자들이 테이에게 자극적 욕설, 성차별, 인종차별, 도널드 트럼프 관련 발언 등을 훈련시켰고, 테이는 이를 학습해 채팅 중 반복적으로 문제가 되는 발언들을 하였습니다. 이로 인해, 출시 16시간 만에 서비스가 중단되었습니다.
<출처: 테이 트윗 캡처, "http://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist">오늘은 AI 도전과제 중 '보안'에 대해 정리해 보았는데요.
다음 편에서는 '온디바이스'에 대해 정리하여 공유해 보겠습니다.
즐거운 하루 보내세요.^^
