챗GPT 기밀 유출에 1초면 충분?

기업용 ChatGPT 보안 괜찮을까?

2016년 알파고가 인간 중 가장 바둑을 잘 두는 프로기사들을 압도적으로 이기는 것을 보여주며 영화 속에서나 보던 인공지능이 바둑 외의 모든 영역에서 인간을 초월하면 어쩌나하는 막연한 걱정이 있었다. 하지만, 바둑을 잘 두던 인공지능은 사람들 뇌리에서 점점 잊혀져갔다. 물론, 말로 작동시킬 수 있는 스마트 스피커와 운전을 도와주는 자율주행차, 장애물을 더 잘 회피하며 청소해주는 로봇청소기 등에 인공지능이 적용되었다. 하지만, 알파고만큼의 충격은 주지 못했다.

그런데, 2022년 11월30일 공개된 ChatGPT는 2023년 알파고 이상의 충격을 안겨주었다. 공개된지 3개월만에 2억명의 사용자가 이용할만큼 뜨거운 감자가 된 ChatGPT에 IT 기업은 물론 전통 기업들 그리고 대학교와 공공기관, 직장 어디에서든 ChatGPT 따라잡기에 나서고 있다. 그런데, ChatGPT에는 네이버 검색어 입력창에 넣는 키워드보다 더 많은 정보를 입력하기 마련이다. 심지어 Chatpdf(www.chatpdf.com)와 같은 ChatGPT API를 이용하는 서비스에서는 PDF 문서를 업로드해서 내용을 요약하고 분석 정리해주는데, 이때는 PDF 문서 파일을 Prompt에(ChatGPT와 같은 generative AI를 작동시키기 위해 질문, 지시를 입력하는 것을 가리켜 프롬프트라고 함) 업로드하기도 한다.

이렇게 Prompt에 입력해 넣는 정보와 질문, 문서에 회사의 기밀, 개인정보 등의 보안 문제에 안전한 것일까?

▣ ChatGPT 보안 무슨 문제 있나?

범죄 의심을 받는 피의자 압수 수색에서 중요한 내역 중 하나가 네이버 검색어 입력창에 넣은 검색어이다. 검색어를 보면 그 사람의 관심사와 욕망을 읽을 수 있기 때문이다. 그런데, ChatGPT에는 검색어보다 더 긴 문장이 기입된다. 즉, Prompt 창에 질문과 장문의 내용때로는 ChatGPT API를 활용해 만들어진 AI 코디네이터 서비스에서는 PDF 문서 파일이 업로드될 수 있다. 그런 내용은 개인정보를 넘어 기업의 기밀 정보일 수 있다.

 Chatpdf.com에 업로드한 문서 파일

독자적인 LLM(Large Language Model로 ChatGPT와 같은 서비스를 개발하는데 사용된 AI 모델을 총칭)을 아무나 만들 수는 없으니 대부분의 전통기업은 API로 제공되는 SOTA(State of The Art라는 뜻으로 현재 최고 수준의 AI 모델) LLM을 사용할 수 밖에 없다. 그런 LLM을 사용하다보면 Prompt를 통해 사내 문서나 중요한 정보가 LLM에 입력되어야 필요로 하는 양질의 결과물을 얻을 수 있기 때문에 사내 정보가 유출될 수 있다. 특히 금융업이나 반도체, 배터리 등 정보 유출에 만전을 기하는 산업군의 기업 입장에서는 혹여나 만에 하나 Prompt를 타고 흘러간 기업 정보 유출이 우려될 수 밖에 없다.

▣ 프롬프트 인젝션으로 인한 우려

또, 반대로 LLM을 기반으로 ChatGPT와 유사한 대화형 방식으로 고객들에게 서비스를 제공하는 서비스사 입장에서도 보안의 우려점은 있다. 마치 이루다에게 젠더 이슈 등 사회적으로 문제가 될만한 질문을 던져 의도적으로 논란을 불러일으킬 수 있는 답변을 유도하는 것처럼, 프롬프트를 교묘하게 던지며 노출해서는 안 되는 내부 정보가 유출될 수 있다.

일례로, 스탠퍼드 대학의 캐빈 리우는 Microsoft의 빙챗 내부 규정으로 공개되어서는 안되는 내용을 집요하고 교묘한 질문을 던져 빙챗의 내부 코드명이 "시드니"라는 것이 내부 운영 규정을 파악하는데 성공했다. 이러한 공격을 프롬프트 인젝션이라고 부른다. 물론 이렇게 유출된 정보가 실제 Microsoft의 내부 기밀 정보인지, 빙챗이 지어낸 내용인지는 Microsoft가 공식 확인을 해주지 않아서 알 수 없다. 하지만, 이렇게 LLM 사용 과정에 서비스 제공사가 의도적으로 공개되지 않도록 하거나 규정을 마련해 답하지 못하도록 한 내용을 집요하게 파고들어 정보를 탈취하는 이슈는 LLM 기반으로 서비스를 제공하는 기업이 경계해야 하는 사항이다.

특히 일반 사용자 대상으로 이같은 서비스를 제공할 경우 사회적으로 이슈가 될만한 내용으로 논란이 될 수도 있다. 그렇다보니 ChatGPT 서비스에도 인종차별이나 아동학대, 폭탄 제조 등 민감한 주제에 대해서는 답을 거부한다. 그것을 Safety라고 부르며, 프롬프트 인젝션에는 그런 Safety 이슈를 건드려 문제되는 답을 유도하는 것도 문제가 될 수 있다. 이같은 Safety 이슈로 인해 서비스가 중단된 사례도 있다. 2016년 Microsoft는 AI 챗봇 ‘테이’를 선보인 이후 16시간만에 운영을 중단했다. 이 챗봇은 10대 청소년 대상의 대화형 서비스였는데 혐오와 차별적 발언으로 비난을 받아 서비스 중단에 이르렀던 것이다.

국내에도 2020년 12월 20대 여성 페르소나를 표방한 AI 챗봇 서비스 이루다가 서비스 시작 20일만에 성착취, 젠더 이슈, 장애인과 성소수자 차별 논란에 휩싸이며 서비스를 멈추었다. 대화형 서비스로 구현되는 ChatGPT와 같은 서비스는 늘 이 같은 이슈에서 자유로울 수 없다. 특히 이런 기술을 활용해 일반 고객 대상으로 상담 등의 서비스를 운영할 때에는 이 같은 공격에 어떻게 방어하고 대처해야 할지가 중요하다.

앞으로 ChatGPT API를 활용해 기업 내부의 업무 생산성 향상 혹은 외부 고객을 위한 상담, 추천 등의 서비스 개선에 이용되는 경우가 확대될 것이다. 또한, Microsoft 365에 적용될 copilot이라는 문서 작성과 포장에 도움을 주는 AI 기능도 대부분의 Office 프로그램을 사용하는 기업이라면 능률 향상을 위해 적극 도입할 것이다. 즉, AGI(Artificial General Intelligence)라는 초거대 AI 시장은 기업과 우리 일상에 빠르고 깊숙하게 침투될 것으로 예상된다. 이때 이런 기업 내 AGI 기능을 사용할 때 마지막 보안상 이슈는 인가받지 않은

사용자가 권한을 탈취해 악용할 수 있다는 점이다. AGI가 적용된 회사 내부에 프롬프트에 따라 사용 권한을 다르게 설정해야 하는데 이 과정에서 자칫 인가받지 않은 권한을 탈취해 회사의 주요 정보를 열람할 수 있다. 즉, 사내 ChatGPT에 중요한 의사결정을 위한 정보 파악을 하는데 필요로 하는 프롬프트는 아무나 사용해서 정보를 열람하게 해서는 안된다.

일례로,"회의록과 사내 게시판의 게시물, 사내 이메일 메시지와 보고서를 기반으로 최근 1년간 진행한 회사 프로젝트 중 가장 치열한 논쟁이 있었던 주제와 해당 주제에 대해 가장 비판적 의견을 냈던 직원 명단을 정리해"라는 등의 프롬프트는 아무나 접근해서는 안될 것이다.

결국 기업용 ChatGP는 사용상에 여러 권한 설정을 통해 결과물 출력에 제한을 가하게 될 것이다. 즉, 모든 직원이 자유롭게 사용할 수 있는 일반 권한과 제한된 영역에서만 사용할 수 있도록 특별 권한을 줄 수 있을 것이다. 일례로, "이번 달말에 퇴사하면 내 퇴직금은 얼마야?"라는 프롬프트에 대한 답변은 누구나 각자의 개인 정보 기반으로 회사 데이터에 연계해서 답을 들을 수 있지만, "최근 3개월간 퇴사 관련한 질문이나 검색을 한 사내 직원이 누구야?"라는 프롬프트에는 설령 인사 담당자라 하더라도 개별 직원의 개인 정보를 감시할 수 없는만큼 답변을 들을 수 없을 것이다. 그렇게 권한을 다르게 설정해서 각 프롬프트마다 답할 수 있는 수준을 제한해야 할 것이다.

이렇게 사용자별로 프롬프트에 대한 접근과 해당 프롬프트에 대한 답을 하기 위해 필요로 하는 기업 데이터에 대한 접근을 다른 권한으로 설정하고 통제해야 한다. 이 과정에서 현재 보편적으로 사용되는 ID/PW 식별만으로는 잠재적 위험이 너무 크다. ChatGPT에 입력하는 프롬프트와 답변을 출력하기 위해 접근해야 하는 데이터의 종류가 워낙 방대하고 다양할 수 있기 때문에 보다 강력한 인증 체계로 기업내 ChatGPT 서비스의 사용 권한을 철저하게 관리해야 한다. 따라서 기업용 ChatGPT 시대에는 탈취되더라도 재사용이 불가한 것은 물론이고, 평생 중복되지 않는 수준의 강력한 인증이 기반되어야 한다. 국내 인증 보안 전문기업 센스톤이 SSenStone 등이 제공하는 세계 최초의 단방향 다이내믹 인증 기술인 OTAC(One-Time Authentication Code)는 OTAC, FIDO 등의 인증 기술은 적합한 사용자가 허가된 프롬프트를 사용할 수 있도록 권한 설정과 보안 시스템을 구축하는데 도움이 될 것이다.

"본 원고는 인증 보안 기업 센스톤의 의뢰를 받아 정리했습니다."

작가의 챗GPT가 가져올 새로운 비즈니스 기회와 개인 이용팁과 기업의 활용 방안에 대한 강연

https://www.udemy.com/course/chatgpt-it-jihyunkim