판사님, 이런 판례가 있어요!!

- '환각'으로 춤추는 가짜 판례  

Morgan & Morgan 로펌의 ChatGPT 가짜 판례 사건

최근 미국 와이오밍 주 연방지방법원은 Morgan & Morgan로펌 소속 변호사들이 ChatGPT로 생성된 가상의 판례 9건을 준거 자료로 제출한 사실을 적발했습니다.

이에따라 해당 변호사들에게 공개 사과와 사유서 제출을 요구하는 결정을 내렸습니다.

morgan & morgan 페이스북

사건 배경 및 개요

2023년 7월 원고는 Walmart에서 구매한 Jetson Electric Bikes사의 전기 자전거가 제품 결함으로 인해 화재가 나자, 재산 및 신체적 피해를 입었다고 주장하며 제조물책임 소송을 제기했습니다.

피고 측은 제품이 모든 안전 기준을 준수했으며, 화재 원인이원고의 부적절한 사용에 기인한다고 반박하는 전형적인 법정 공방이 이어졌습니다.

2025년 1월 원고 측 대리인인 Morgan & Morgan은 소송 중간 단계에서 "Wyoming v. U.S. Department of Energy (2006)" 등 9개의 판례를 인용한 준비서면을 제출해서 사달이 났습니다.

피고 측에서 법원에 확인을 요청한 결과, 모든 인용판례들이 ChatGPT가 생성한 허위 내용임이 드러났습니다. 이 중 5건은 존재하지 않는 사건 번호였고, 나머지 4건은 사건 번호는 실제 하지만 판결문의 내용과는 전혀 무관한 내용으로 작성되어 있었습니다.

우리나라도 마찬가지이지만, 판례법국가인 미국에서 법정에이러한 가짜판례를 제시한 것은 심각한 문제가 아닐 수 없습니다.  

AI 기술 도입과 로펌의 내부 시스템

Morgan & Morgan은 전미 최대 규모의 개인 상해(injury) 전문 로펌이고, 무려 1,000명 이상의 변호사가 소속되어 있습니다. 또, 'Litify'라는 자체 개발 AI 기반 법률 소프트웨어도 운영 중이었습니다. 그럼에도,  이번 사건에서는 변호사들이 ChatGPT를 별도의 검증 절차 없이 직접 활용하는 과정에서 발생되었습니다.

"우리는 AI 도구 사용 시 생성된 내용의 사실 관계를 반드시 검증해야 한다는 내부 규정을 명시했으나, 실무 현장에서의 이행이 미흡했음을 인정합니다."
 - Morgan & Morgan 내부 이메일 발췌

법적 문서의 사실 확인 의무 위반

와이오밍 연방지방법원은 변호사 협회 윤리 강령 Model Rule 3.3(a)(1)을 근거로, "법원에 고의적이든 과실이든 허위 사실을 제출하는 행위"가 중대한 직업윤리 위반임을 지적했습니다. 특히, AI 생성 내용에 대한 무비판적 신뢰가 전문가로서의 심사의무를 소홀히 한 큰 문제라고 보았습니다.

AI 기술의 오류 메커니즘

ChatGPT와 같은 대형 언어 모델(LLM)은 훈련 데이터의 통계적 패턴을 기반으로 텍스트를 생성할 뿐, 사실 여부를 검증하는 기능이 없습니다. 이번 사건에서 모델은 '제조물 책임'과 '와이오밍 주'라는 키워드 조합에 맞춰 그럴듯한 판례 형식을 모방했으나, 실제 법률 데이터베이스와의 연동 없이 가상의 내용을 조합한 것으로 밝혀졌습니다.

이번 사건이 더 큰 문제인 이유

이전 가짜 판례 사건(2023년 Levidow CASE - 아래 사진, 항공사 손해배상 사건)의 경우 중소 규모 로펌에서 발생했으나, 이번 사건은 규모가 큰 로펌에서 발생한 사건이라 큰 충격을 주었습니다.

법원은 "충분한 자원을 보유한 조직일수록 AI 활용 과정에서 더 엄격한 감독 체계를 마련해야 한다"는 설시와 함께, 단순 개인 과실이 아닌 시스템적 결함을 문제 삼았습니다.

https://www.dailymail.co.uk/news/article에서 인용

AI시대 유령처럼, '환각'이 사법신뢰를 떨어뜨리면 안 되겠지요.

현재의 트랜스포머 아키텍처에 기반한 AI모델들은 기본적인 '환각'(hallucination) 현상이 있습니다. RAG(Retrieval-Augmented Generation : 검색증강생성)라는 기술 등으로 이를 예방하고 있습니다만, 100% 방지는 어려운 상황으로 보입니다.

24년 스탠퍼드대학에서 발표한 한 논문은 RAG 기술로도 법률리서치 문건에 17~33%의 오류가 발견되었다고 보고하고 있습니다. 물론, 이 논문의 결과치에 대해서는 갑론을박 논란이 있습니다.

환각현상에 대한 스탠퍼드대학 논문

어쨌든 제 개인적인 사용경험으로도, 특히, 범용 모델의 경우, 판례, 법률조항 등의 답변을 받은 경우 반드시 사실여부를 확인해야 한다는 것을 느끼고 있습니다.

환각을 유령이미지로 표현해 봤어요.

결국, 그 중심에는 사람이 있습니다(PEOPLE, FIRST!).  

인간을 돕고 효율성을 높이기 위해 등장한 도구가 사법의 신뢰를 떨어뜨리는 일이 있어서는 결코 안 되겠지요. 아무리 기술이 최첨단을 달려도, 그 중심에는 사람이 있습니다.

결국 잘 쓰고, 잘 활용해야, 기술의 혁신은 빛을 발하고, 그 부작용을 줄여서 사회구성원들로부터 신뢰를 얻게 될 것으로 생각됩니다.