by
Jun 17. 2024
사기를 치고 사기를 탐지하고 사기 탐지기를 속인다
ChatGPT가 불러온 이상한 세상
생성형 AI에 간단한 지시를 하면 한번의 클릭으로 글을 생성하는 시대입니다.
프롬프트를 잘 쓰면 업무 시간을 단축시킬 수 있다며 자신의 비법을 알려준다는 강의 광고가 요즘 자주 눈에 띕니다. 제 주변에서는 제품 후기 같은 것을 쓸 때 AI를 사용한다는 사람도 있습니다. 영어 이메일을 써야할 때 부담스러워서 AI로 작성했더니 마음에 들었다는 이야기도 들었습니다. 요즘은 이력서 커버레터도 AI로 작성하는 사람들도 있습니다.
AI의 힘을 빌리면 글을 써야할 때의 어려움을 손쉽게 해결할 수 있습니다. 물론 무슨 글을 어떻게 쓰고싶은지에 대한 생각이 잘 서야 프롬프트도 잘 쓸 수 있긴 하겠지만요.
AI는 어마어마한 어휘량을 자랑합니다. 그런데 50,000개의 ChatGPT 결과물을 분석한 결과, 유독 자주 사용하는 어휘가 존재한다고 하네요. 그 이유는 여러가지이겠지만, 그 중 하나는 AI를 트레이닝 하는 Reinforcement Learning from Human Feedback (RLHF) 작업에 아프리카의 값싼 노동력을 동원하기 때문일 것 같습니다. 이전에 관련 포스트를 쓴 적이 있습니다.
AI가 생성한 글을 많이 읽다보면 어쩐지 AI의 냄새가 나긴 합니다. 자주 등장하는 특정 어휘 때문이기도 하고, 지나치게 다채로운 용어와 화려한 문장 구조 때문이기도 합니다. 본래 글은 글을 쓰는 사람의 생각의 흐름, 감정, 마음 가짐, 의도 등을 그대로 투사합니다. AI가 생성한 글은 화려하지만 왠지 빈 껍데기같은 느낌이 듭니다. 짧은 문구보다는 긴 텍스트에서 AI의 냄새가 더 잘 납니다.
https://aiphrasefinder.com/common-chatgpt-words/
아무래도 AI 생성 글이 문제가 되는 곳은 학교입니다. 학교 과제나 입시를 위해 제출하는 에세이를 ChatGPT로 작성해서 제출했다면 그 학생의 실력을 평가하기 어려울 것입니다. 따라서 AI로 생성한 글인지 아닌지 탐지하고자하는 니즈가 발생하여 탐지 툴이 생겼났습니다. AI Content Detectors 라고 검색하면 WinstonAI, Copyleaks 등 꽤 많은 툴이 이미 AI 탐지 서비스를 제공하고 있습니다.
WinstonAI의 경우 텍스트를 입력하면 해당 텍스트의 Human Score를 알려줍니다. 인간 점수라니... 뭔가 기분이 묘합니다. 아무튼 0%라는 뜻은 텍스트 전체가 다 AI가 생성한 텍스트로 판단된다는 뜻입니다. AI 특유의 논리 전개나 어휘 등을 기반으로 채점이 됩니다. 이들에 따르면 이 점수는 99.98%의 정확성을 자랑한다고 하는데... 궁금해서 샘플예시를 눌러보니 UI는 아래와 같이 생겼습니다.
