AI가 쓴 글 판독기? 실험해 봤습니다.
황당한 결과에 대하여
AI가 쓴 글인지 확인할 수 있는 사이트가 있어서, 제 글을 테스트해 봤습니다.
저는 주장문을 쓰는 사람입니다. 글은 다음과 같은 형식으로 씁니다.
글의 서두: 주제, 쟁점 소개
본문 전반: 기존 의견 요약
본문 후반: 나의 주장 설명
먼저 저는 맞춤법 검사를 제외한 어떠한 부분에서도 AI의 도움을 안 받았음을 밝힙니다(맞춤법 검사를 브런치 자체 툴과 AI 검사 이중으로 체크합니다). 또한 AI를 가지고 놀면서 AI에게 글을 쓰도록 해 본 적이 있고, 제 생각에 AI 글의 문체는 저와 아주 다르다고 생각합니다. 제 글은 AI 글들에 비해서(그리고 글을 잘 쓰시는 다른 분들에 비해서) 솔직히 전반적으로 가독성이 떨어지고, 길고, 설명적입니다.
하여간 제가 가장 최근 업로드한 "AI는 반드시 합리적인 생각만 할까?"를 테스트해 봤습니다.
글자수 제한 때문에 적당히 잘라서 테스트해 봤습니다.
1. 전형적인 AI 요약문?
2. 전형적인 AI 어조?
AI 판독기의 "분석 요약"에 대한 나의 분석
중국어 방 부분은 기존 의견의 요약을 하는 부분이니까, 제 주관이 아닌 객관적인 설명을 해야겠죠. 그런데 그러므로 AI 요약문의 특징이라고 합니다.
저는 주장을 펼치는 부분에선 가급적 논증을 제시합니다. 그리고 주장문은 전반적으로 소논문이라 생각하고 작성하므로 논리적 연결어의 정확한 사용이 중요하다고 생각합니다. 영미 철학 텍스트를 자주 읽는데, 그 텍스트들의 영향도 있을 겁니다. 그런데 그러므로 AI 작문의 전형적인 특징이라 하는군요.
제 생각에 AI 판독기는 귀추법과 연역적 사고의 밸런스를 맞추지 못한 것 아닐지 추정해 봅니다. 글을 판독하는 방법론이 귀추법에 너무 몰려있고, 연역법은 간과한 것 아닐까 싶습니다. AI가 쓰는 글의 특징으로부터 AI가 객관적인 설명, 논리적 연결어의 빈번한 사용을 한다는 게 참이라고 합시다. 하지만 역으로 그 특징을 가지고 AI가 쓴 글이라고 하는 것은 논리적 오류입니다.
전제1. AI가 글을 쓰면, 객관적인 설명 혹은 논리적 연결어의 빈번한 설명이 특징이다.
전제2. 이 글은 객관적인 설명 혹은 논리적 연결어의 빈번한 설명이 특징이다.
결론. 이 글은 AI가 쓴 글이다.
이런 논증을 후건 긍정의 오류라고 합니다. 후건 긍정 오류의 좀 더 쉬운 예시는 다음과 같습니다:
전제1'. 비가 오면, 길이 젖는다.
전제2'. 길이 젖었다.
결론'. 비가 왔다.
전제1'이 참이더라도, 길이 젖었다고 비가 왔다고 반드시 결론 내릴 수 있나요? 누군가 길을 물청소했을 수도 있고, 그냥 평소에도 습한 땅일 수도 있습니다. 이런 것을 타당하지 않은 논증이라 합니다.
다만, 논리적 오류와 타당성과는 별개로 저러한 논증이 반드시 쓸모없다고 생각하지는 없습니다. 오히려 일상생활에서는 꼬장꼬장하게 형식 논리를 따지는 것은 쓸모없고 귀추법이 유용한 태도일 수도 있습니다.
예를 들어 당신이 외출하기 전 창문을 내다봤는데 길이 젖어있었다고 가정합시다. 이때 길이 젖었을 여러 다른 가정보다는 비가 왔을 가능성을 가장 먼저 떠올리고 우산 챙길 것을 대비하는 것이 논리적 타당성과 별개로 유용합니다.
그렇지만 AI 판독기의 경우에는 그런 실질적 효과로 변호해 주기에는 힘들 것 같습니다. 제 글의 사람 작성에 대한 불확신 정도가 너무 크고, 오히려 애먼 사람 잡을 위험이 더 커 보입니다.
GPT에게 판독시켜 보기
GPT 비로그인 버전에게도 동일한 부분을 똑같이 분석시켜 봤습니다.
1. 중국어방 요약정리 부분
2. 나의 주장 부분
GPT의 해설은 너무 길어서 가져오지 않고, 수치로 정리한 결과만 가져왔습니다. GPT는 제 글을 사람 작성이라는 의견에 무게를 둡니다.
현재 AI판독기라는 사이트는 판독기로써의 역할은 제대로 못 하는 것 같습니다. 스스로는 법적 문제까지만 염두에 두고 "참고용"이라는 단서를 달아놨지만, 참고용으로도 아직은 신뢰하기 어려운 프로그램이라 생각합니다.