Hallucination
학술 글쓰기와 AI: 환각(Hallucination)의 위험과 연구자의 대응 원칙
학술 글쓰기에서 AI를 활용할 때 가장 심각한 위험은 이른바 ’환각(hallucination)’이다. 존재하지 않는 논문을 만들어 내거나, 실제와 다른 쪽수를 단정적으로 제시하거나, 사료의 문맥을 미묘하게 변형하는 현상이 그것이다. 고전 원전·사료·고고학 자료·현대 학술 논문을 교차 검증해야 하는 연구에서는 작은 오류 하나가 전체 논증의 신뢰도를 무너뜨릴 수 있다. 따라서 AI를 사용하는 순간부터 ‘작성 보조 도구’가 아니라 ‘오류를 유발할 수 있는 텍스트 생성기’라는 전제 위에서 접근해야 한다.
첫째, AI에게 출처 생성을 맡겨서는 안 된다.
가장 위험한 영역이 바로 인용과 참고문헌이다. 모델은 그럴듯한 저자명·연도·학술지명을 조합하여 실제 존재하지 않는 문헌을 만들어낼 수 있다. 참고문헌은 반드시 RISS, KCI, DBpia, 국립중앙도서관, 대학 도서관 OPAC 등 1차 데이터베이스에서 직접 확인해야 한다. AI는 “이 주제에서 참고할 만한 연구의 유형”을 묻는 데까지만 활용하고, 구체적인 서지사항은 연구자가 직접 확인하는 것이 원칙이다.
둘째, 원전 인용은 반드시 원문 대조를 거쳐야 한다.
『논어』·『맹자』·『사기』·『승정원일기』와 같은 텍스트를 다룰 경우, AI가 제시한 한자 문구를 그대로 옮기지 말고 표준 판본이나 공신력 있는 번역본과 반드시 대조해야 한다. AI는 유사 구절을 뒤섞거나 문장을 축약·재구성하는 경향이 있으며, 특히 부정어(不·未·非), 조건 표현, 주어의 지시 대상은 쉽게 변형된다. 학술 글에서 이러한 차이는 결정적인 의미를 지닌다.
셋째, 단정적 어조를 경계해야 한다.
AI는 종종 “~로 평가된다”, “~가 입증되었다”와 같은 확정적 표현을 구사한다. 그러나 실제 학계에서는 합의가 이루어지지 않은 쟁점이 적지 않다. AI가 단정적으로 서술한 문장에 대해서는 ‘누가, 언제, 어떤 근거로’라는 질문으로 반드시 재점검해야 하며, 출처 없는 일반화는 모두 수정하거나 삭제하는 것이 안전하다.
넷째, 통계·연도·지명은 별도로 교차 확인해야 한다.
수치 정보는 오류가 있어도 문장 자체는 자연스럽게 읽히기 때문에 가장 발견하기 어려운 함정이다. 고고학 발굴 연도, 법령 개정 시점, 인구 통계, 재정 규모 등은 반드시 공공기관 자료나 1차 보고서를 통해 재확인해야 한다. 수치는 AI에게 위임할 수 있는 영역이 아니다.
다섯째, AI를 반론 생성기로 활용하는 것이 효과적이다.
초안을 작성한 뒤, 동일한 내용을 AI에게 제시하고 “이 논증의 약점은 무엇인가”를 물으면 미처 예상하지 못한 허점을 드러내 줄 수 있다. 다만 AI의 비판이 사실에 근거한 것인지는 반드시 연구자가 재확인해야 한다. AI는 비판을 생성할 수 있지만, 그 비판의 사실 여부까지 보증하지는 않는다.
여섯째, 최종 원고는 반드시 연구자 자신의 책임 아래 재구성해야 한다.
문장의 리듬, 논지의 점층 구조, 개념 정의의 일관성은 연구자의 학문적 정체성과 직결된다. AI가 생성한 문장을 그대로 사용하면 표현은 매끄러워질 수 있으나, 개념의 뉘앙스가 미묘하게 변질될 위험이 있다. 특히 경관 구조의 정의를 고정해 두고 작업가설 A/B의 위계를 엄격히 구분해야 하는 연구에서는 표현 한 단어의 차이가 연구 방향 자체를 바꿀 수 있다.
마지막으로, AI 사용 기록을 스스로 관리하는 습관이 필요하다. 어떤 부분을 AI의 도움으로 정리했는지, 어디까지가 자신의 판단인지 명확히 구분해 두면 연구 윤리 측면에서도 안전하다. 이는 향후 표절 논란이나 저작권 문제를 예방하기 위한 최소한의 장치이기도 하다.
요컨대, 학술 글쓰기에서 AI는 사고를 대신하는 도구가 아니라 사고를 점검하는 보조 장치이다. 인용은 연구자가 직접 확인하고, 원전은 원문과 대조하고, 수치는 교차 검증하며, 단정은 유보하는 것, 이 네 가지 원칙을 견지한다면 환각의 위험은 크게 줄어든다. 반대로 이 중 하나라도 생략하는 순간, 겉보기에는 완성도 높은 문장이 연구의 신뢰성을 잠식할 수 있다.