ChatGPT 보안에 문제 없나?
프람프트 인젝션의 우려
2016년 알파고가 인간 중 가장 바둑을 잘 두는 프로기사들을 압도적으로 이기는 것을 보여주며 영화 속에서나 보던 인공지능이 바둑 외의 모든 영역에서 인간을 초월하면 어쩌나 하는 막연한 걱정이 있었다. 하지만, 바둑을 잘 두던 인공지능은 사람들 뇌리에서 점점 잊혀져 갔다. 물론, 말로 작동시킬 수 있는 스마트 스피커와 운전을 도와주는 자율주행차, 장애물을 더 잘 회피하며 청소해주는 로봇청소기 등에 인공지능이 적용되었다. 하지만, 알파고만큼의 충격은 주지 못했다. 그런데, 2022년 11월30일 공개된 ChatGPT는 2023년 알파고 이상의 충격을 안겨주었다. 공개된지 3개월만에 2억명의 사용자가 이용할만큼 뜨거운 감자가 된 ChatGPT에 IT 기업은 물론 전통 기업들 그리고 대학교와 공공기관, 직장 어디에서든 ChatGPT 따라잡기에 나서고 있다. 그런데, ChatGPT에는 네이버 검색어 입력창에 넣는 키워드보다 더 많은 정보를 입력하기 마련이다. 심지어 Chatpdf(www.chatpdf.com)와 같은 ChatGPT API를 이용하는 서비스에서는 PDF 문서를 업로드해서 내용을 요약하고 분석 정리해주는데, 이때는 PDF 문서 파일을 Prompt에(ChatGPT와 같은 generative AI를 작동시키기 위해 질문, 지시를 입력하는 것을 가리켜 프람프트라고 함) 업로드하기도 한다. 이렇게 Prompt에 입력해 넣는 정보와 질문, 문서에 회사의 기밀, 개인정보 등의 보안 문제에 안전한 것일까?
▣ ChatGPT 보안 무슨 문제 있나?
범죄 의심을 받는 피의자 압수 수색에서 중요한 내역 중 하나가 네이버 검색어 입력창에 넣은 검색어이다. 검색어를 보면 그 사람의 관심사와 욕망을 읽을 수 있기 때문이다. 그런데, ChatGPT에는 검색어보다 더 긴 문장이 기입된다. 즉, Prompt 창에 질문과 장문의 내용 때로는 ChatGPT API를 활용해 만들어진 AI 코디네이터 서비스에서는 PDF 문서 파일이 업로드될 수 있다. 그런 내용은 개인정보를 넘어 기업의 기밀 정보일 수 있다.
Chatpdf.com에 업로드한 문서 파일ChatGPT 도입을 그 어떤 기업보다 적극적으로 수용한 삼성전자에서도 반도체 설비 계측과 수율 데이터가 ChatGPT Prompt를 타고 유출되는 사고가 2023년 3월20일 발생했다. 사내 직원들에게 정보 유출을 유의하라고 안내했음에도 불구하고 디바이스 솔루션 부문 사업장 내에서 반도체 설비 계측 데이터베이스 다운로드 프로그램의 소스 코드 전부를 복사해 ChatGPT에게 입력해 해결 방법을 문의하면서 삼성전자의 전자 설비 계측 관련 소스 코드가 유출된 것이다. 그 외에도 같은 방법으로 수율, 불량 설비 파악을 위해 작성된 프로그램 코드가 ChatGPT에 전송되기도 했다. 또 다른 사례로는 스마트폰으로 녹음한 삼성전자 회의 내용을 클로바 앱을 통해 문서로 변환하고, 이 텍스트 문구를 ChatGPT에 입력해 회의록 작성 요청을 해서 회의 내용이 전송되기도 했다. 이렇게 회사의 보안 정보가 Prompt를 통해 generative AI로 전달되고, 이렇게 전송된 정보가 LLM을 학습시키는데 이용되거나 이 보안 정보가 LLM을 통해 타인에게 전송될 우려도 없다고 장담할 수 없다. 이를 막으려면 아예 generative AI를 기업 내부 시스템으로 가져와 사용해야 하는데 그러려면 독자적 LLM 구축이 필요하다. GPT-4를 기업 내부 시스템으로 가져와 금융 LLM을 구축한 모건스탠리도 이같은 보안 문제로 독자적 LLM을 OpenAI와 제휴를 해서 구축한 것이다.
그런데, 독자적인 LLM(Large Language Model로 ChatGPT와 같은 서비스를 개발하는데 사용된 AI 모델을 총칭)을 아무나 만들 수는 없으니 대부분의 전통기업은 API로 제공되는 SOTA(State of The Art라는 뜻으로 현재 최고 수준의 AI 모델) LLM을 사용할 수 밖에 없다. 그런 LLM을 사용하다보면 Prompt를 통해 사내 문서나 중요한 정보가 LLM에 입력되어야 필요로 하는 양질의 결과물을 얻을 수 있기 때문에 사내 정보가 유출될 수 있다. 특히 금융업이나 반도체, 배터리 등 정보 유출에 만전을 기하는 산업군의 기업 입장에서는 혹여나 만의 하나 Prompt를 타고 흘러간 기업 정보 유출이 우려될 수 밖에 없다. 그런데 블룸버그의 BloombergGPT, 구글의 메드-PaLM 등 금융, 의료 등 특정 산업에 최적화된 LLM이 소개되고 있고, 메타와 nVidia가 독자적인 Vertical LLM을 쉽게 구축할 수 있는 AI 모델과 저렴한 비용으로 운영할 수 있도록 하는 적은 파라미터의 LLaMA, NeMo라는 LLM 클라우드 서비스를 공개하고 있다. 이러한 것을 활용하면 좀 더 저렴한 비용으로 우리 기업만의 특화된 Vertical LLM을 개발할 가능성이 생긴다.
▣ 프람프트 인젝션으로 인한 우려
또, 반대로 LLM을 기반으로 ChatGPT와 유사한 대화형 방식으로 고객들에게 서비스를 제공하는 서비스사 입장에서도 보안의 우려점은 있다. 마치 이루다에게 젠더 이슈 등 사회적으로 문제가 될만한 질문을 던져 의도적으로 논란을 불러일으킬 수 있는 답변을 유도하는 것처럼, 프람프트를 교묘하게 던지며 노출해서는 안되는 내부 정보가 유출될 수 있다.
일례로, 스탠포드 대학의 캐빈 리우는 Microsoft의 빙챗 내부 규정으로 공개되어서는 안되는 내용을 집요하고 교묘한 질문을 던져 빙챗의 내부 코드명이 '시드니'이 내부 운영 규정을 파악하는데 성공했다. 이러한 공격을 프람프트 인젝션이라고 부른다. 물론 이렇게 유출된 정보가 실제 Microsoft의 내부 기밀 정보인지, 빙챗이 지어낸 내용인지는 Microsoft가 공식 확인을 해주지 않아서 알 수 없다. 하지만, 이렇게 LLM 사용 과정에 서비스 제공사가 의도적으로 공개되지 않도록 하거나 규정을 마련해 답하지 못하도록 한 내용을 집요하게 파고들어 정보를 탈취하는 이슈는 LLM 기반으로 서비스를 제공하는 기업이 경계해야 하는 사항이다.
프람프트 인젝션으로 safety를 피해 폭탄 제조 방법을 캐내는 모습특히 일반 사용자 대상으로 이같은 서비스를 제공할 경우 사회적으로 이슈가 될만한 내용으로 논란이 될 수도 있다. 그렇다보니 ChatGPT 서비스에도 인종차별이나 아동학대, 폭탄 제조 등 민감한 주제에 대해서는 답을 거부한다. 그것을 Safety라고 부르며, 프람프트 인젝션에는 그런 Safety 이슈를 건들여 문제되는 답을 유도하는 것도 문제가 될 수 있다. 이같은 Safety 이슈로 인해 서비스가 중단된 사례도 있다. 2016년 Microsoft는 AI 챗봇 테이를 선보인 이후 16시간만에 운영을 중단했다. 이 챗봇은 10대 청소년 대상의 대화형 서비스였는데 혐오와 차별적 발언으로 비난을 받아 서비스 중단에 이르렀던 것이다. 국내에도 2020년 12월 20대 여성 페르소나를 표방한 AI 챗봇 서비스 이루다가 서비스 시작 20일만에 성착취, 젠더 이슈, 장애인과 성소수자 차별 논란에 휩싸이며 서비스를 멈추었다. 대화형 서비스로 구현되는 ChatGPT와 같은 서비스는 늘 이같은 이슈에서 자유로울 수 없다. 특히 이런 기술을 활용해 일반 고객 대상으로 상담 등의 서비스를 운영할 때에는 이같은 공격에 어떻게 방어하고 대처해야 할지가 중요하다.
앞으로 ChatGPT API를 활용해 기업 내부의 업무 생산성 향상 혹은 외부 고객을 위한 상담, 추천 등의 서비스 개선에 이용되는 경우가 확대될 것이다. 또한, Microsoft 365에 적용될 copilot이라는 문서 작성과 포장에 도움을 주는 AI 기능도 대부분의 Office 프로그램을 사용하는 기업이라면 능률 향상을 위해 적극 도입할 것이다. 즉, AGI(Artificial General Intelligence)라는 초거대 AI 시장은 기업과 우리 일상에 빠르고 깊숙하게 침투될 것으로 예상된다. 이때 이런 기업 내 AGI 기능을 사용할 때 마지막 보안상 이슈는 인가받지 않은 사용자가 권한을 탈취해 악용할 수 있다는 점이다.
AGI가 적용된 회사 내부에 프람프트에 따라 사용 권한을 다르게 설정해야 하는데 이 과정에서 자칫 인가받지 않은 권한을 탈취해 회사의 주요 정보를 열람할 수 있다. 즉, 사내 ChatGPT에 중요한 의사결정을 위한 정보 파악을 하는데 필요로 하는 프람프트는 아무나 사용해서 정보를 열람하게 해서는 안된다. 일례로, "회의록과 사내 게시판의 게시물, 사내 이메일 메시지와 보고서를 기반으로 최근 1년간 진행한 회사 프로젝트 중 가장 치열한 논쟁이 있었던 주제와 해당 주제에 대해 가장 비판적 의견을 냈던 직원 명단을 정리해라"라는 등의 프람프트는 아무나 접근해서는 안될 것이다.
작가의 챗GPT가 가져올 새로운 비즈니스 기회와 개인 이용팁과 기업의 활용 방안에 대한 강연
https://www.udemy.com/course/chatgpt-it-jihyunkim
