brunch

매거진 디지털 트랜스포메이션 트렌드

라이킷 17 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 이노핏파트너스 innoFIT Partners Aug 11. 2023

생성형 AI와 보안

디지털 트랜스포메이션 트렌드

이미 다들 잘 알고 계시는 챗GPT를 우리는 생성형 AI라고 합니다. 생성형 AI란 인공지능 기술의 한 종류로서 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해 주는 기술을 의미합니다.

생성형 AI 기술 중 하나인 대규모 언어모델(Large Language Models; LLMs)은 일반적으로 수백억 개 이상의 파라미터를 포함하는 인공지능 모델을 의미하며 복잡한 언어 패턴과 의미를 학습하고 다양한 추론 작업에 대해 우수한 성능을 보유하고 있습니다. 대규모 언어모델 기반의 대표적인 AI 서비스로는 Stable Diffusion, Midjourney, 챗GPT, Bard, Firefly 등이 있습니다.

1) Stable Diffusion (개발사 : Stability AI / 출시 : 2022)
2) Midjourney (개발사 : Midjourney / 출시 : 2022)
3) 챗GPT (개발사 : OpenAI / 출시 : 2022)
4) Bard (개발사 : Google / 출시 : 2023)
5) Firefly (개발사 : Adobe / 출시 : 2023)

챗GPT가 등장한지 벌써 7개월이 지났습니다. 챗GPT의 인기가 높다보니 우리는 자연스럽게 궁금한 것들을 물어보게 됩니다. 과제에 대한 답을 묻기도 하고, 작문 할 일이 있을 때 사용하기도 합니다. 물론 회사에서 업무에 활용하는 경우도 많겠지요. 챗GPT를 잘만 활용한다면 업무 효율성을 높일 수 있는 것은 어찌보면 당연한 일일지도 모릅니다. 그리고 호기심으로 정말 내가 원하는 결과물을 진짜 알려주려나? 싶어 여러가지를 입력해보기도 합니다.

하지만 우리가 간과하는 문제 ‘보안’ 이 있습니다. 우리의 질문들을 수집할 수 있다는 것이지요. 단순히 ‘ㅇㅇㅇ 를 알려 줄래?’라든가 ‘너는 ㅁㅁㅁ를 알고 있니?’ 는 수집해도 별 문제가 없어보이지만, 굉장히 많은 내용을 챗GPT에 알려주고 ‘너는 이것에 대해서 어떻게 생각하니?’ 라고 물어 볼 수도 있겠지요?

오늘은 우리 모두 이미 다 알고 있는 이 챗GPT(생성형 AI)에 대한 우려와 보안에 대해 나눠볼까 합니다.

오늘의 주제 : 생성형 AI와 보안

#1. 생성형 AI는 과연 장미빛 미래만 선사하는가?

#2. 생성형 AI의 위협 요인들

#3. 전 세계와 기업은 어떻게 움직이고 있는가?

#생성형AI #저작권침해 #AI윤리

생성형 AI는 과연 장밋빛 미래만 선사하는가?

생성형 AI의 명암

몇 년 전만 해도 AI는 단순 반복 업무 및 저숙련자 고용 위기로 논의되었습니다. 그러나 오픈AI의 논문에 따르면 정보를 다루는 고학력 지식노동자들이 GPT와 같은 LLM(초거대언어모델)의 영향에 더 크게 노출될 것으로 예상됐었습니다.

GPT와 같은 생성형 AI 활용에 있어서 신뢰성 이슈가 지속될 수 있습니다. 생성형 AI는 사람처럼 정보와 논리를 바탕으로 맥락에 따라 답을 추론하는 AI 모델이 아닙니다. GPT는 미리 학습된 단어 및 데이터 간의 관계를 파악해 확률이 높은 답을 ‘생성’ 합니다. 훈련된 정보나 지식이 부족하거나 부정확할 경우 그럴 듯하지만 오류가 많거나 무의미한 답변을 하기도 하죠.

생성형 AI로 만들어진 창작물의 저작권 침해, 윤리적 편견 등에 대한 부정적인 여파도 많습니다. 이미지 공급업체 게티이미지는 Stability AI를 저작권 침해 혐의로 고소했고, 국내에서도 카카오가 AI로 만든 카톡 이모티콘의 입점을 불허하는 등 저작권과 관련한 논의가 진행 중이다. 잘못된 학습에 따른 윤리적 편향성도 해결되어야 할 문제입니다.

생성형 AI 활용과정에서의 기밀이나 개인 정보노출에 대한 우려도 큽니다. 챗GPT나 각종 플러그인을 통해 질문한 자료는 AI서버에 저장되기 때문에 답변을 얻는 과정에서 프롬프트 인젝션 등 해킹을 통해 악의적으로 정보를 탈취할 가능성도 있습니다.

>>기사 자세히 보기

인공지능 대부의 구글 퇴사, 왜?

‘인공지능의 대부’로 불리는 제프리 힌튼은 인공지능 분야에서 가장 존경받는 인물 중 한 명 입니다. 2018년 IT 분야의 노벨상이라 불리는 튜링 어워드를 수상하기도 했습니다. 지난 10년간 힌튼은 구글 직원이자 교수로서 성공적인 삶을 살아왔습니다만, 2023년 5월 뉴욕타임스와의 인터뷰에서 AI의 잠재적 위협이 이전에 생각했던 것보다 더 빨리 다가올 것이라는 점을 세상에 경고하며 구글을 퇴사하였습니다. 이후에는 인공지능 개발 일시 중단 성명서에 서명을 하며 그동안의 삶과는 전혀 다른 행보를 보이고 있습니다.

힌튼은 AI가 일자리를 빼앗을 수 있는 당장의 위험과 일반인들에게 진짜처럼 보이는 가짜 사진, 동영상, 텍스트가 만연해 있다는 점이 위험하다고 꼽았습니다. 힌튼은 지금 우리가 만들어내는 디지털 지능은 생물학적 지능과는 완전히 다르다고 생각한다고 말했습니다.

>>기사 자세히 보기

성명서를 통한 인공지능 기술 발전에 대한 우려

올해 3월 미국의 비영리 단체 FLI(Future of Life Institute)는 테슬라 CEO 일론 머스크, 애플 공동창업자 스티브 워즈니악, 베스트셀러 작가 유발하라리 등 1100 명 이상의 산업인들과 함께 '최첨단 AI 시스템의 개발을 일시 중단하자'는 성명서를 발표했습니다. 이 성명서에는 "최첨단 AI는 지구상의 생명 역사에 중대한 변화를 나타낼 수 있다"며 "강력한 AI 시스템은 그 효과가 긍정적이고 위험을 관리할 수 있다는 확신이 있을 때만 개발해야 한다"고 주장했습니다. 이들은 "독립적인 외부 전문가가 감독하는 안전 프로토콜을 개발할 때까지 모든 AI 연구실에서 오픈AI가 최근 공개한 AI 모델 GPT-4보다 강력한 AI 개발을 최소 6개월 간 즉시 중단할 것으로 요청한다"고 밝혔습니다. 이들은 이러한 중단을 신속하게 시행할 수 없다면 정부가 개입해 유예 조치를 취해야 한다고도 했습니다.

>>기사 자세히 보기

그리고 5월에는 AI기업의 CEO들이 급격히 발전하는 기술의 존재적 위험성에 대한 성명서를 통해 경고했습니다. 이 성명서에는 챗GPT를 만든 오픈AI의 CEO 샘 알트만, 알파고로 유명한 딥마인드 CEO 데미스 허사비스 등이 참여하였으며, 비영리 단체인 CAIS(Center for AI Safety)에서 발표했습니다. 이번 성명서는 "AI로 인한 멸종 위험을 완화하는 것은 전염병이나 핵전쟁과 같은 사회적 위험과 함께 전 세계적으로 우선순위여야 한다"고 주장했습니다.

#환각현상 #AI모델 #딥페이크

생성형 AI의 위협 요인들

얼마 전 한국국가정보원은 챗GPT 관련 보안 문제를 사전에 예방하기 위해 마련한 ‘챗GPT 등 생성형 AI 활용 보안 가이드라인’을 공개했습니다. 이번 가이드라인에는 생성형 AI기술과 관련한 △개요 및 해외동향(챗GPT 사례 중심) △보안위협 사례 △기술 사용 가이드라인 △국가·공공기관의 정보화사업 구축 방안 및 보안대책 등이 담겼습니다. 어떤 내용인지 구체적으로 살펴볼까요?

잘못된 정보 제공

생성형 AI가 정확히 무슨 데이터를 학습하는지는 알기 어렵습니다. 따라서 학습 데이터의 불균형 또는 데이터 내의 직·간접적인 편향은 AI 모델의 편향으로 이어질 수 있으며, 이는 모델이 만들어내는 결과물에 영향을 미쳐 사용자에게 사실과 다른 정보를 제공할 수 있습니다.

그리고 특정 생성형 AI 모델은 최종 학습 데이터 시점까지의 정보만 가지고 있기 때문에 학습 이후에 발생한 사건이나 정보에 대해서는 알지 못하거나, 부정확한 정보를 제공할 수 있습니다.

환각(Hallucination) 현상은 AI 모델의 결과물이 정확한 것처럼 생성되었으나 실제로는 거짓인 경우를 말합니다. 즉, AI 모델은 새로운 콘텐츠를 생성할 수 있는 능력으로 인해 잘못된 정보나 존재하지 않는 정보를 생성할 수 있다는 특징을 가지고 있다. 이러한 환각 현상은 AI 모델의 신뢰성을 저하시키는 원인이 될 수 있습니다. 이는 사회적 혼란 조장 하거나 검증되지 않은 결과물의 공유로 잘못된 의사 결정을 일으킬 수 있게 됩니다.

AI 모델의 악용

AI 모델은 사실적이고 믿기 쉬운 콘텐츠를 생성할 수 있습니다. 이를 통해 사용자는 다른 사람들을 조작하거나 사기를 칠 수 있는 잠재적인 도구를 얻을 수 있습니다. 이는 사회 공학적 공격을 더욱 쉽게 만들고, 사람들이 피해자가 될 위험성을 증가시키게 됩니다.

이는 매우 사실적인 텍스트, 이미지, 오디오 등을 만들 수 있습니다. 이는 악의적인 사용자가 이를 이용해 위조된 정보, 즉 '딥페이크'를 만드는 데 사용될 수 있습니다. 이는 개인의 사생활 침해, 허위 정보 유포 등에 사용될 수 있으며, 이로 인한 보안 위협이 증가하고 있습니다.

그리고 생성형 AI 모델은 심지어 가짜 뉴스를 생성하는 데 사용될 수 있습니다. 특히, 챗GPT 등 대규모 언어모델은 인간이 생성하는 수준의 현실적이고 설득력 있는 결과물을 생성함으로써 허위 정보를 퍼뜨리는 데 악용이 가능합니다. 여러 언어로 번역하는데도 수초밖에 걸리지 않습니다.

챗GPT에서 경험해 볼 수 있듯이, AI 모델은 사용자가 제공하는 텍스트 스타일을 흉내 내는 데 매우 효과적 입니다. 이는 해킹 시도와 같은 곳에 활용될 수 있습니다. 피싱 이메일을 생성하거나, 특정 개인이나 단체의 말투를 도용하는 데 악용될 수 있습니다. 이렇게 생성된 정교한 피싱 이메일은 기존의 보안 시스템을 속이고, 사람들이 이를 진짜로 인식하게 만들 수 있습니다.

보안이야기를 조금 더 해볼까요? AI 모델은 소프트웨어 코드를 생성할 수 있습니다. 이는 AI 모델이 악성 코드 작성에 이용될 수 있음을 의미합니다. 해커는 이를 통해 보안 시스템을 회피하는 데 필요한 복잡한 악성 코드를 작성할 수 있으며, 이로 인해 정보 보안에 심각한 위협이 될 수 있습니다.

AI 모델은 학습 데이터에 기반하여 결과를 생성합니다. 따라서 개인정보가 포함된 데이터로 학습이 이루어질 경우, AI가 해당 정보를 부적절하게 공개할 가능성이 있습니다. 이 문제를 해결하기 위해 데이터를 처리하는 동안 적절한 프라이버시 보호 조치를 취해야 하며, 데이터를 충분히 일반화하고 개인정보를 제거해야 합니다.

그리고 AI 모델의 예측이나 생성을 조작하는 시도, 예를 들어 적대적 공격(adversarial attack) 등도 보안 위협으로 간주될 수 있습니다. 이를 통해 AI는 예상치 못한 방식으로 작동할 수 있으며, 이는 사용자에게 잠재적으로 해로운 결과를 초래할 수 있습니다.

>>가이드라인 자세히 보기

#AI규제 #AI평가 #개인정보보호

전 세계와 기업은 어떻게 움직이고 있는가

유럽 연합 EU

EU는 지난 5월 11일 인공지능에 대한 세계 최초의 규제 프레임워크인 ‘인공지능 법(AI Act)’ 제정의 첫 단계로서 해당 법 초안을 유럽의회 상임위원회에서 통과시켰습니다. EU 인공지능 법에 따르면, 챗GPT 등 대규모 언어모델 및 생성 AI와 같은 이른바 ‘기초 모델' 제공업체 개발자는 모델을 공개하기 전에 안전 점검, 데이터 거버넌스 조치 및 위험 완화 조치를 적용해야 합니다. 시스템을 훈련하는데 사용되는 학습 데이터 셋을 공개하고 생성 AI가 만든 콘텐츠는 인간이 생성한 것이 아님을 밝혀야 한다는 조항을 추가하였습니다.

미국

美 백악관 과학 기술 정책실(Office of Science and Technology Policy)은 2023년 8월 개최되는 데프콘(DEFCON)에서 챗GPT를 비롯한 생성형 인공지능 시스템을 공개 평가하여 잠재적인 취약점(potential harms)을 테스트한다고 밝혔습니다.

캐나다

캐나다 개인정보 보호 규제당국(Canada privacy regulators)은 2023년 5월 26일 챗GPT의 모기업인 OpenAI의 데이터 수집 및 사용에 관한 공동 조사를 시작하였습니다. 연방 개인정보 보호 규제기관은 퀘벡, 브리티시 컬럼비아, 앨버타의 규제 기관과 함께 OpenAI가 챗GPT를 통해 사용자(residents)의 개인정보 수집, 사용 및 공개에 대한 동의를 얻었는지 여부를 조사할 것이라고 밝혔습니다.

이탈리아

이탈리아 개인정보 감독기구(Italian Data-Protection Authority; Italian DPA)는 3월 31일, 챗GPT의 개인정보 수집, 처리 및 사용자 연령 확인 부재로 인해 개인 정보 보호 규정(GDPR) 위반 사유로 판단하여 챗GPT의 사용을 금지하는 조치를 취했습니다.

(영상)이탈리아, 개인정보 우려에 챗GPT 차단…서방국가 처음 / 연합뉴스TV

그러나 이후 4월 28일, OpenAI가 DPA의 요구사항을 이행함에 따라 이탈리아 정부는 챗GPT의 접속 차단을 해제하였습니다. OpenAI는 가입 시 이탈리아에서 사용자의 나이를 확인할 수 있는 도구를 제공하고, 유럽 연합 사용자가 모델 학습을 위해 개인 데이터를 사용하는 것에 반대할 권리를 행사할 수 있는 새로운 양식을 제공하는 등 이탈리아 DPA에서 제기한 문제를 해결하거나 명확히 하였습니다.

일본

일본 내각부는 지난 4월 22일 OpenAI의 챗GPT와 유사한 생성형 인공지능 챗봇의 확산에 대응하기 위해 경제산업성, 총무성, 문부과학성, 디지털청 등 관계 부처가 참여하는 ‘AI 전략팀’ 신설 계획을 발표하였습니다. 이 전략팀은 2023년 4월 24일 회의에서 AI의 업무 활용과 관련된 과제를 정리하고 부처 간 의사소통을 강화하는 방안을 논의한 바 있습니다.

챗GPT의 사용을 제한한 기업

애플은 일부 직원들을 대상으로 챗GPT, 구글 바드(Bard) 및 이와 비슷한 대규모 언어 모델 기반 서비스의 사용을 제한했습니다. 미국 금융계인 JP모건체이스, 뱅크오브아메리카, 씨티그룹, 골드만삭스, 도이체방크 등 주요 월가 은행도 재무 데이터의 보안을 우려해 이미 챗GPT 등 AI 챗봇 사용을 제한했습니다.

SK하이닉스는 사내망에서 챗GPT를 쓰지 못하도록 접근을 막았습니다. 일종의 허가제를 도입해 챗GPT 사용이 필요하면 회사의 승인을 받도록 했죠. 국내 금융계인 우리은행과 우리금융지주, 국책은행인 기업은행도 각종 개인정보와 은행 기밀 정보 유출 등을 우려해 임직원을 대상으로 사내 챗GPT 사용을 제한했습니다.

챗GPT를 사용하는 기업

업무 생산성과 효율성을 크게 끌어올려 주는 챗GPT의 강점을 포기하지 않고 보안 문제를 해결할 방법을 찾아 이용하는 기업들도 있습니다. SK텔레콤은 국내 통신 업체 가운데 처음으로 챗GPT를 업무에 정식으로 도입했습니다. 사용료를 지불하고, 외부와 완전히 분리된 사내망에서만 작동하는 최적화된 직원 전용 챗GPT 서비스를 자체 개발해 정보 유출의 위험을 막아냈습니다.

포스코는 챗GPT 공개 플랫폼인 오픈AI가 아닌 내부 인트라넷을 통해 챗GPT를 활용할 수 있는 경로를 마련했습니다. 다시 말해 내부 시스템 안에서만 사용되는 챗GPT 인거죠. 오픈AI의 최대 주주 마이크로소프트(MS)가 운영하는 사내 협업 플랫폼 '팀즈'에 챗GPT 기능을 도입해 내부 시스템에서만 챗GPT를 사용하도록 한 거라고 보시면 됩니다.

>>기사 자세히 보기

큐레이터의 시선

챗GPT, 즉 생성형 AI에 발전 가능성이나 성장세와 같은 즐거운 이야기만 하지는 않았습니다. 문제가 있다고는 하지만 이용을 막을 수도 없고, 그렇다고 발전을 중단시킬 수도 없습니다. 올바른 활용을 위해 윤리 교육과 적절한 규제도 필요하다는 생각입니다. 아이폰이 나온 지 15년이 지난 지금, 우리 삶을 혁신적으로 바꿔줄 것이라 예상되는 챗GPT는 과연 우리 삶을 어떻게 바꿔놓을까요?

그리고 챗GPT는 엄청난 도구입니다. 이번 레터에서 보신 것처럼 엄청난 파급력만큼이나 역기능들을 가지고 있습니다. 특히 초반에 언급한 것처럼 기업 입장에서는 '보안' 문제에 대해 예민하게 접근하게 될 것입니다. 우리 임직원들은 코로나를 겪으면서 재택 근무에 대한 경험을 한 번씩은 해봤지요. 그러므로 회사 시스템 내에서 접근을 막았어도, 집에는 이미 중요한 회사 자료가 어느 정도 있을 수 있습니다.

임직원들의 '보안'에 대한 영역은 챗GPT를 정확하게 이해하는 교육과 동시에 직접적인 보안 의식을 함양하는 교육, 즉 결국 교육으로 풀어가야 하는 문제일 것입니다.

임직원들이 챗GPT를 잘 이해하면서 안전하게 접근한다면 업무 효율성을 정말 말도 안 되게 높이게 될 것입니다. 물론 반대의 기업도 있겠지요? 여러분의 기업은 챗GPT를 어떻게 사용하고 있나요?

마지막으로 국정원에서 공개한 ‘챗GPT 등 생성형 AI 활용 보안 가이드라인’에 포함된 <챗GPT 등 생성형 AI 활용 보안 수칙>을 살펴보면서 마무리하도록 하겠습니다.

챗GPT 등 생성형 AI 활용 보안수칙

1. 민감한 정보(非공개 정보, 개인정보 등) 입력 금지_*설정에서 「대화 이력&학습」기능 비활성화
2. 생성물에 대한 정확성·윤리성·적합성 등 재검증
3. 가짜뉴스 유포·불법물 제작·해킹 등 범죄에 악용 금지
4. 생성물 활용 시 지적 재산권·저작권 등 법률 침해·위반 여부 확인
5. 악의적으로 거짓 정보를 입력·학습 유도하는 등 비윤리적 활용 금지
6. 연계·확장프로그램 사용 시 보안 취약여부 등 안전성 확인
7. 로그인 계정에 대한 보안설정 강화 및 보안관리 철저_*'다중 인증(MFA)' 설정 등