ChatGPT 요약의 한계와 쓰임새
함수형 인간 2023
<ChatGPT로 쌓여 있는 읽을거리 처분하기> 진행 중에 혼란스러운 일이 발생했습니다. 오랫동안 읽지 않았다는 사실은 실제로 중요하게 여기지 않는다는 반증이기에 스크롤하며 보는 기사처럼 대충 넘어갈 심산이었는데, 너무 엉뚱한 요약이 나올 때는 그렇게 하기 어려웠습니다.
사람의 요약과 ChatGPT 요약 비교
아래 화면을 보았을 때, 비교할 값이 없었다면 그냥 넘어갈 수도 있었다는 생각이 듭니다.
그런데, 이 기사를 소개한 또 다른 글이 있어 자연스럽게 비교하지 않을 수 없었습니다. 바로 아래 글입니다.
둘 사이 비교가 불가능할 정도로 차이가 느껴졌습니다. 그래서, 제대로 판단하기 위해 원문을 빠르게 훑어보았습니다.
관점 혹은 초점을 중요하게 생각하는 나
ChatGPT의 요약을 보면 흥미를 완전히 잃게 했습니다. 반면에 Xguru님의 글은 축약으로 인해 의도를 추정해야 하는 부분이 있기는 했지만, 분명한 초점으로 생략과 축약이 되어 원문을 읽고 싶지 않을 때 훑어볼 만합니다. 한편으로는 요약한 내용에서 주요 항목을 '요점'으로 삼아서 원문을 읽으면 처음부터 원문을 읽을 때보다 몰입해서 읽을 것 같은 생각도 듭니다. 마치 인터뷰 준비를 하고, 인터뷰를 하러 가는 느낌으로 말이죠.
이렇게 ChatGPT의 요약을 몇 차례 접하면서, 저는 객관적인 요약에 대해 가치 평가가 박하다는 생각이 들었습니다.
요약의 요약을 요청하기
맹탕이라고 느낀 요약에서 콕 집어 가치 있는 것을 뽑아 달라 물으면 조금 나은 느낌이었습니다.
여기서 영감을 받고 질문을 바꾸었더니 자기가 이미 학습한 다른 글에 바탕을 둔 대답을 합니다.
원문 범위를 완전히 벗어난 듯하여, 다시 맥락을 좁혀 답하게 했습니다.
자꾸 가비지를 읽는 듯한 ChatGPT
그리고 다음과 같이 제멋대로 무언가를 읽고 답변하는 경우가 잦습니다.
한편, 글 내용 중에서 2021년 10월 이후 지식이 등장할 경우 해석이 불가능하다는 설명을 합니다. 분명 제약사항이지만 도리어 신뢰를 주기도 합니다.[1]
주석
[1] ChatGPT 버전: https://help.openai.com/en/articles/6825453-chatgpt-release-notes
지난 함수형 인간 관련 글
1. 함수형 인간 재개
3. 함수형 인간 프레임워크
12. 스마트폰과 건강하게 함께 살기
