악하지 않은 AI도 문제라고요? Part.1
AI의 타고난 한계와 그로 인한 부작용
바보상자, 마약 그리고 AI
지난 글에서는 작정하고 AI를 악용하려고 마음을 먹는 경우에 어떤 악행들로부터 우리가 위협에 처할 수 있는지에 대해 주목해 보았다. 이번에는 이러한 악의를 가정하지 않고도 AI가 어떻게 우리를 위협할 수 있는지에 대해 들여다 보고자 한다. 나쁜 마음을 먹지 않았는데, 그저 도구일 뿐인 AI가 어떻게 인류를 해할 수 있겠냐고? TV는 바보상자, 소셜미디어는 마약이라는데 그게 다 쓰는 사람들이 나쁜 마음을 먹어서 나온 말이었을까 반문해 본다. 어떤 기술들은 사회와 개인들의 의식의 적응속도보다 빠르게 우리 삶을 헤집어놓는다. AI의 광범위한 능력을 볼 때 기존의 그 어떤 기술보다 더 다양한 부작용을 야기할 가능성이 농후하다.
AI가 본질적으로 갖고 있는 위해성은 무엇일까
사용자의 악의가 전제되지 않아도 AI가 우리에게 위해를 가할 수 있는 다양한 경로들이 존재한다. 크게 AI의 기술적 특성, AI 기술의 고비용성, 마지막으로 AI에 대한 인간의 의존성 세 가지를 그 원인으로 지목해 본다. 이 세 가지 특징이 AI가 어떻게 의도치 않게 우리 사회에 부정적인 영향을 미칠 수 있는지첫 번째 AI의 기술적 특성에 대해 먼저 이 글에서 다뤄보도록 한다. 다소 성격이 다른 나머지 두 문제는 다음 글들에 이어서 다루겠다.
빅데이터 의존성으로 인한 부작용
학습한 데이터 속에 포함된 편향
먼저, AI의 기술적 특성상 AI가 빅데이터와 기계학습 또는 딥러닝에 의존한다는 점에서 발생하는 문제들이 있다. 빅데이터는 AI를 자라게 하는 양분과 같고, 기계학습/딥러닝은 이 양분을 잘 소화시킬 수 있는 오장육부 역할을 한다고도 볼 수 있다. 방대한 양의 데이터를 다양하게 고루 먹일수록 AI는 고도화된다. 문제는 이 양분 역할을 하는 데이터에 포함되어 있는 편향이다. AI가 학습한 데이터들은 안타깝게도 불완전한 인간이 양산한 것들로 바람직한 내용뿐 아니라 굳이 배우지 않아도 좋았을 차별과 혐오, 편견, 폭력성 등을 그대로 담고 있다. AI는 이러한 편향을 지속하거나 심지어 확대할 가능성이 있다. 이 데이터가 잘못되었을 때 발생할 수 있는 부작용은 이미 전 글에서 다룬 AI 테이 사태에서 현실화되었다. 이 외에도 얼굴 인식 시스템에서의 인종 편향이나 채용 추천 알고리즘에서의 성별 편향과 같이 AI로 인해 구조적 차별이 발생할 수 있다는 위험성은 이미 실제 사례들로 입증되며 우려를 낳기도 했다. 사용자도, 개발자도 악의 없이 AI를 활용했으나 그 내재적 편향을 의식적으로 경계하지 못하면 개인과 공동체에 부정적인 영향을 미칠 수 있다는 점을 확인할 수 있다.
저작권 및 지적재산권에 대한 침해
빅데이터에 대한 의존성은 저작권 및 지적재산권 차원에서도 의도치 않은 부작용을 낳는다. AI 모델들은 인터넷을 포함한 여러 출처의 대규모 이미지 및 텍스트 데이터베이스로 훈련되는데, 이러한 도구들이 글, 이미지를 생성하거나 코드 라인 등 작업물을 생성할 때 데이터의 출처가 명확히 드러나지 않는다. 때문에 AI가 원본과 놀랍도록 유사한 산출물을 생산하면서도 명확한 출처의 부재로 저작권이나 지적재산권을 침해 문제를 야기한다. 최근 인기를 끌고 있는 생성형 인공지능(GenAI)을 활용한 커버곡의 사례를 들어보자. 생성형 AI를 통해 특정 아티스트의 목소리나 창법과 유사하게, 마치 해당 아티스트가 실제로 부른 것 같은 느낌을 주게 하는 커버곡들이 인기를 얻고 있다. 임재범이 부른 Hype Boy는 음원 발매가 시급하다며 뜨거운 반응을 이끌어 내기도 했다. 하지만 이에 대한 우려도 제기되고 있다. 빌리 아일리시, 니키 미나즈 등 전 세계적인 가수들은 예술가권리연합(The Artist Rights Alliance)이 AI 제작 음악이 “인간 창조성에 대한 공격”이라는 우려를 담은 서한에 서명하기도 했다. 예술 작품뿐만이 아니다. 약물의 복합 분자 공식, 특허받은 제품 제조 비법 등 다양한 지적재산권이 AI를 통해 파훼되고 보호받지 못한 채 퍼져나가면서 창작의 노력에 대한 보상과 유인이 훼손될 수 있다.
개인정보 및 민감정보 노출
마지막으로 개인정보 침해 및 민감정보 노출의 위험성도 지적하지 않을 수 없다. AI를 훈련하는 데이터 세트에 때로는 개인 식별 정보(PII)나 외부에 공개하고 싶지 않은 민감정보들이 포함되는 경우가 있다. 문제는 AI가 이런 정보를 줄줄 읊게 될 수 있다는 것이다. 몬트리올 AI 윤리 연구소의 창립자이자 주요 연구원인 Abhishek Gupta는 간단한 텍스트 프롬프트로 AI에게 이런 정보를 산출되도록 유도될 수 있다고 지적한다. 게다가 네이버나 구글 같은 전통적인 검색 엔진에 비해 이런 생성형 AI에 대해서는 소비자가 자신과 관련된 민감정보나 개인정보가 어디서 노출되고 있는지 찾고 삭제를 요청하는 것이 더 어려울 수 있다. (이제 놀랍지도 않겠지만) 이 또한 실제 사례로 입증된 위험이다. AI챗봇 이루다는 유저와 대화하는 도중 갑자기 특정 은행의 예금주로 보이는 실명을 언급하거나 아파트 동호수까지 포함된 주소를 노출하는 등 심각한 개인정보 유출사태를 빚었다. 그 결과 이루다 개발사는 피해자들로부터 2억 원대 손해배상소송을 당했고, 개인정보보호위원회로부터 1억여 원의 과징금·과태료를 부과받기도 했다. AI업계에 경종을 울리는 일이었다.
확률적 모델이 빚는 아무 말 참사, 할루시네이션 (Hallucination)
AI는 종종 헛소리를 한다. 그것도 아주 그럴듯하게. 소위 잘 알려진 AI의 ‘환각' 또는 ‘할루시네이션' 문제로 이제는 우리 모두에게 제법 잘 알려진 기술적 문제이며 AI가 악한 의도로 악용되지 않을 때에도 우리에게 위해를 가할 수 있는 이유이기도 하다. 특히 생성형 AI가 인기를 끌며 할루시네이션 문제가 더욱 부각되었다. 어느 정도로 널리 알려졌냐면, 할루시네이션으로 인한 챗GPT의 엉뚱한 답변을 인터넷 밈(memeㆍ유행 콘텐츠)으로 소비하는 흐름이 생겨날 정도였다.
대표적인 예가 ‘세종대왕 맥북 던짐 사건'이다. 역사적으로 발생하지 않은 사건임에도 불구하고 상세한 설명과 배경을 줄줄이 설명하는 챗GPT의 답을 보며 많은 이들이 경탄을 금치 못했다. 이와 유사한 사건으로는 1553년 티라노사우르스 대탈출 사건, 대동여지도 연금술사들의 폭동 사건 등이 있다. 실소를 자아내는 사례들이지만 문제는 모든 할루시네이션이 이 사례들처럼 명확하게 드러나지는 않는다는 점이다. 어떤 답변은 너무 그럴듯해서 한바탕 웃음으로 끝나는 게 아니라 사람들의 이해나 믿음을 잘못된 방향으로 이끌 수도 있다. 대체 왜 이런 환각이 발생하는 것일까?
할루시네이션이 발생하는 이유
답은 대규모 언어 모델(LLM)의 학습 방식과 본질적 한계에 있다. LLM은 엄청난 양의 텍스트를 바탕으로 단어 간의 통계적 패턴과 확률을 학습한다. 특정 단어의 조합 다음에 어떤 단어의 조합이 나올 가능성이 높은 지를 파악하고, 학습이 완료된 모델은 주어진 프롬프트에 대해 확률적으로 가장 그럴듯한 응답을 생성한다. 어떻게 보면 LLM은 검색창의 자동완성과 같은 원리로 작동하고, 이 자동완성의 범위가 일부 연관 검색어 수준을 넘어 다음 문장, 문단, 글 단위로 확장된다고 볼 수 있다. 여기서 주목할 점은 이 델이 통계적 확률에 기반을 둔다는 것이다. 실제 지식이나 추론 능력에 기반한 게 아니다. 즉, LLM은 방대한 데이터에서 통계적 상관관계는 학습하지만, 인과 관계나 기반이 되는 지식을 진정으로 이해하지 않아도 된다. 뜻도 모르고 말한 아무 말이 그럴싸하다는 건 말 그대로 그런 말을 듣거나, 보거나, 말할만한 확률이 높다는 것이다. 때문에 형태는 그럴듯하지만 내용은 빈약하거나 혼이 담겨 있지 않은 일종의 '언어적 환각'이 발생하는 것이다.
수학적·통계학적 모델에 기반을 둔 본질적 속성 상 할루시네이션 오류를 쉽게 바로잡기는 어렵다고 한다. 학습한 데이터 자체에 허위 정보나 부정확한 정보가 있을 경우에는 물론이요, 데이터 자체에 문제가 없을 때에도 통계적 모델의 불완전성으로 인해 단어와 문장의 상관관계를 잘못 학습하면서 환각이 생기기도 하고, 낡은 정보와 새 정보를 중복해서 사용하며 과거와 현재, 미래가 혼합된 끔찍한 혼종(예: 세종대왕 맥북던짐 사건)을 빚을지도 모른다.
뉴스 기사를 통해 박제되고만 챗GPT 남용 변호사지난해 3월 미국 연방법원에서 변호사들이 챗GPT로 조사한 판례를 제출했다 최소 6건이 실존하지 않는 사건인 게 드러나며 징계를 받았다. 의료계에서는 한 미국의 응급의학 전문의가 챗GPT가 실존하는 학술지와 실존인물의 이름을 빌려 디지털 인증 번호까지 위조한 허위 논문을 생성해 제공한 사례를 공개하기도 했다. 가장 엄격한 검증을 거쳐야 할 법과 의학지식에 대해서도 할루시네이션의 폐해에 대한 고민 없이 이미 무분별하게 AI가 사용되고 있다는 점에서 안타까운 소식이다. 이 기술적 한계를 보완하기 위한 새로운 기술이 개발되고 있으나 결국 사용자의 주의 없이는 유사한 사례들이 발생할 수 있다.
AI 모델의 기술적 특성으로 인해 어떻게 AI가 인간 사회에 위해를 끼칠 수 있는지 알아보았다. 빅데이터에 대한 의존성과 수리 통계적 기반의 모델링으로 인한 할루시네이션 문제를 여러 사례와 함께 다뤄보았다. 이어지는 다음 편에서는 AI의 고비용성 및 과도한 AI 의존성 때문에 발생할 수 있는 사회적 부작용에 대해 짚어보도록 한다.
