챗GPT는 브런치 작가보다 글을 잘 쓸까?
글쓰기 업무 역량을 향상 시키는 챗GPT
2022년 11월 챗GPT가 출시되고 많은 사용자들은 이메일, 보고서, 심지어 논문까지 많은 글쓰기 작업에 챗GPT의 도움을 받고 있다. 아마 브런치 작가들 중에서도 챗GPT의 도움을 받는 사람들이 꽤 있을 것이다. 나 역시 글을 쓰거나 퇴고를 할 때 챗GPT의 도움을 받는 경우가 종종 있다. 이 글을 보는 많은 브런치 작가님들은 챗GPT를 어떻게 활용해야 더 좋은 도움을 받을지 고민을 하시는 분들도 계실 것이다. 반대로 챗GPT가 쓰는 글을 사람 냄새가 나지 않는 무미건조한 글이기에 어떻게든 부정하려고 하시는 분들도 계실 것이다. 챗GPT를 바라보는 두 가지 의견이 엇갈리는 와중에 두 의견과 관련된 최신 연구 결과들을 가볍게 살펴보며 생각을 이어 나가 보자.
챗GPT는 글쓰기 업무 역량 향상에 명백히 도움을 준다
최근 학술지 <사이언스>에 게재된 연구에 의하면 챗GPT가 글쓰기가 서툰 직원들에게 큰 도움이 된다는 사실을 밝혀냈다. MIT 경제학부의 대학원생인 샤케드 노이(Shakked Noy)와 휘트니 장(Whiteny Zhang)의 연구결과에 의하면 챗GPT를 사용한 사람들은 그렇지 않은 사람들 대비 글쓰기 작업 완료 시간이 40% 덜 걸렸고, 글의 퀄리티에 대한 점수는 18% 더 높게 나타났다.
이번 연구의 주 저자인 샤케드 노이는 다음과 같이 챗GPT의 글쓰기에 대해 평하였다.
챗GPT는 글쓰기 작업의 생산성을 크게 높여준다. 글쓰기 작업의 일부를 챗GPT로 자동화하면 많은 시간을 절약할 수 있다.
해당 논문에서는 챗GPT가 사무직 업무에 매우 유용할 것이라고 주장한다. 많은 사람들이 챗GPT를 사용할 것이고 사무직 업무 구조에 큰 영향을 줄 것이라 저자들은 판단하고 있다. 본 연구를 살펴본 카네기멜론대학교의 리쿠 아라카와(Riku Arakawa) 역시 인공지능이 가상 비서 역할을 하면서 업무에 도움을 줄 수 있음을 시사한다고 말하고 있다. 또한 인간이 글쓰기를 정교하게 다듬는 데 인공지능을 활용한다면 수준이 높아질 것이라고 발하고 있다.
농담은 못하는 챗GPT
2023년 6월 소피 젠츠시 독일 항공우주센터 연구원을 비롯한 다수 연구자들의 연구 결과에 따르면 챗GPT는 농담에 서툴다고 한다. 챗GPT에게 다양한 농담을 시켜본 결과 동일한 농담을 반복하였고, 농담의 대부분은 '아재개그'였다. 챗GPT가 건넨 아재개그 중 하나.
수학책이 왜 슬프지? 문제(Problem)가 너무 많아서
본 연구를 진행한 연구진은 인간조차 즉석에서 새로운 농담을 만들기보다 이전에 외운 것을 말한다고 지적하며, 인공지능 역시 마찬가지라고 얘기한다. 챗GPT는 학습한 내용을 이해하는 것이 아니라 외운 것을 기반으로 확률적으로 웃기다고 판단이 되는 농담을 내뱉기 때문에 웃기지 않은 농담을 반복하는 것이다라고 논문에서 밝히고 있다.
아직, 챗GPT가 인간의 유머를 따라잡지 못하였고, 챗GPT의 글에는 인간냄새가 나지 않는다는 점에서 안도할 분들도 계실 것이다. 하지만 아직 챗GPT가 의도적으로 재미있고 독창적인 콘텐츠를 만들지 못한다고 해서 앞으로도 그럴 것이라는 보장이 없다. 연구진은 지금은 농담을 잘 못하는 챗GPT지만 농담을 구성하는 능력이 더 발전할 가능성도 보여주었다는 결론을 내린 바 있다. 이는 인간스러운 글을 계속해서 학습을 해나간다면 점차 인간을 따라잡을 것이고, 유머에 특화하여 학습을 시킨 몇몇 인공지능 언어모델은 사람 이상의 아재개그를 할 수도 있을 것이다.
신뢰도와 감성이 아직은 부족한 챗GPT
업무에서 불완전성만큼이나 챗GPT가 가지고 있는 특성 중 하나는
사람의 감정이 느껴지지 않는다는 것이다.
챗GPT가 글쓰기에 '도움'을 줄 수 있다는 것은 연구결과를 통해 입증된 바 있고, 많은 사람들이 실제 업무에서 챗GPT의 도움을 받고 있다. 하지만 아직 챗GPT가 도움의 영역을 넘어 온전히 글을 완성할 수 있냐고 하는 점에서는 의문부호가 많이 있다. 챗GPT를 비롯한 생성형 인공지능의 가장 큰 문제는 내놓는 결과의 신뢰성이 떨어진다는 것이다. 챗GPT는 잘못된 정보를 올바른 정보처럼 제공하는 할루시네이션(hallucination) 이슈를 계속해서 가지고 있다. 챗GPT의 신뢰도 이슈는 지속 제기된 바 있으며, 이러한 문제는 챗GPT를 비롯한 생성형 인공지능에게 문제 해결을 온전히 맡기기 어렵다는 것을 의미한다.
신뢰성도 문제지만 챗GPT를 비롯한 인공지능들이 쓴 글의 특징은 감정이 없다는 것이다. 캔자스대학의 히더 디자이어(Heather Desaire) 교수가 이끄는 연구팀이 2023년 6월 학술지 <Cell Reports Physical Science>에 99% 이상의 정확도로 인간이 쓴 글과 인공지능이 쓴 글을 구분하는 툴을 개발했다고 발표하였다. 이들은 연구에서 챗GPT가 인간의 글쓰기를 모방하기 위해 실제 텍스트를 학습하지만, 인간보다 덜 감정적인 언어를 사용한다고 얘기했다. 챗GPT의 글에서 감정이 적게 느껴지는 징후를 기반으로 이들은 인공지능이 쓴 글을 높은 정확도로 식별할 수 있었다.
이번 연구를 진행한 디자이어 교수는 챗GPT의 글에 대해 다음과 같이 얘기했다.
일반적으로 인간이 쓴 글이 더 매력적이라고 말하고 싶다. 인공지능이 쓴 글은 좋든 나쁘든 복잡한 구조로 좋아보지만, 자세히 들여다보면 정말 단조로운 느낌을 받았다.
최신 연구 결과들을 종합해서 요약해 보면 다음과 같은 결론을 내릴 수 있다.
챗GPT는 글쓰기에 명백히 도움을 준다.
아직 챗GPT가 온전히 글을 하나 쓰는 데는 아직 무리가 있다.
챗GPT의 글에는 아직 사람의 감성이 부족하다.
아직 챗GPT와 같은 생성형 인공지능의 글쓰기는 우리 브런치 작가님들보다 미흡하다. 하지만 챗GPT는 충분히 조수로써 역할은 할 수 있음을 증명해내고 있다. 게다가 아직도 인공지능의 발전은 현재 진행형이며, 발전 속도는 기하급수적이다. 아직 감정도 글에 잘 담아내지 못하고, 유머감각도 부족하지만 한 번 조수로 채용을 해보는 건 어떨까? 우리의 글쓰기를 더 빠르고 더 풍족하게 해 줄 녀석임은 분명하기에.
