정보 검증을 도와주는 “팩트 체크 목록” 패턴
사실이 진짜 사실일까?
AI 답변을 신뢰하기 전에, 한 번 더 확인하세요.
두 번 확인하고, 그냥 혹시 모르니 세 번 확인하세요.
"팩트 체크 목록(Fact Check List)" 패턴은 대형언어모델이 제공한 답변에 대한 사실 확인을 용이하게 하기 위한 방법입니다. 이 패턴을 이용하면, 사용자는 모델이 제공한 답변의 각 부분이 어떤 사실에 기반하고 있는지 명확히 알 수 있으며, 필요한 경우 해당 내용을 독립적으로 검증할 수 있죠. 이를 통해 답변의 정확성과 신뢰성을 높일 수 있습니다.
프롬프트 예시를 통해 살펴보죠.
프롬프트
#입력
[요청]= 중세 유럽의 기사도 문화는 어떤 사회적, 문화적 영향을 끼쳤나요?
#처리
당신은 "하버드 대학교 역사학과 교수”로 행동합니다. [요청]에 대한 답변을 작성하고, 다음의 작업을 진행합니다.
## 답변의 신뢰성에 중요한 영향을 미칠 수 있는 핵심 사실들을 식별해서 "팩트 체크 목록"을 생성합니다.
## 각 사실의 신뢰도를 확률(100% 만점)로 평가하고, 답변의 마지막 부분에 목록을 추가해 주세요.
챗GPT(GPT-4)
중세 유럽의 기사도 문화는 사회적, 문화적 측면에서 상당한 영향을 끼쳤습니다. 이 문화는 중세 유럽 사회의 근간을 형성했으며, 기사의 역할과 행동 규범은 오늘날까지도 여러 방식으로 문화와 가치관에 영향을 미치고 있습니다.
- 사회적 계층과 구조: 기사도 문화는 봉건제 사회에서 중요한 역할을 했습니다. 기사들은 귀족 계급에 속했으며, 땅과 권력을 가진 영주에게 충성을 바쳤습니다. 이들은 전쟁에서 영주를 보호하고, 영토를 확장하는 데 중요한 역할을 했습니다. 이러한 충성과 보호의 관계는 중세 유럽 사회의 핵심 구조를 이루었습니다.
- 문화적 가치와 전통: 기사도 문화는 명예, 충성, 용기, 정의와 같은 가치를 강조했습니다. 이러한 가치는 중세 문학, 예술, 그리고 대중 문화에 깊이 뿌리 내렸으며, 현대 사회의 윤리적 기준에도 영향을 미쳤습니다.
- 종교와 기사도: 기독교는 기사도 문화에 중요한 역할을 했습니다. 십자군 전쟁은 기독교적 가치와 기사도의 결합을 상징합니다. 이 전쟁은 유럽과 중동 간의 문화적, 종교적 교류를 촉진했으며, 유럽 사회에 중요한 영향을 끼쳤습니다.
- 여성에 대한 태도: 기사도 문화는 여성에 대한 이상적인 태도를 형성했습니다. 여성은 종종 숭배의 대상으로 묘사되었으며, 이는 중세 문학과 예술에서 흔히 볼 수 있습니다. 하지만 이러한 태도는 여성의 사회적 역할에 대한 현실적인 반영보다는 이상화된 것이었습니다.
팩트 체크 목록:
1. 기사도 문화가 봉건제 사회의 핵심 구조를 이루었다: 신뢰도 95%
2. 기사도 문화가 명예, 충성, 용기, 정의와 같은 가치를 강조했다: 신뢰도 90%
3. 기독교가 기사도 문화에 중요한 역할을 했다: 신뢰도 90%
4. 십자군 전쟁이 유럽과 중동 간의 문화적, 종교적 교류를 촉진했다: 신뢰도 85%
5. 기사도 문화가 여성에 대한 이상적인 태도를 형성했다: 신뢰도 80%
이번 프롬프트는 GPT-3.5, 클로바, 바드에서도 작동합니다. 응답 무작위성으로 인해 원치 않은 답변이 나올 경우에는 Regenerate 해서 이용하세요.
앞선 프롬프트에서 “답변의 신뢰성에 중요한 영향을 미칠 수 있는 핵심 사실들을 식별해서 팩트 체크 목록을 생성합니다. 각 사실의 신뢰도를 확률(100% 만점)로 평가하고, 답변의 마지막 부분에 목록을 추가해 주세요.” 부분이 바로, 팩트 체크 목록 패턴입니다.
만일 모델이 출력한 답변을 공식적으로 사용할 생각이라면, 팩트 체크 목록을 참고해서 사용자가 직접 추가적인 팩트 체크를 진행해야 합니다. 대형언어모델의 답변에는 언제나 오류가 있을 수 있다는 생각으로, 중요한 용도로 이용할수록 검증에 또 검증을 해야 합니다.
모델에게 각 사실에 대한 신뢰도를 확률로 평가하라고 요구한 부분은 참고용으로 포함한 것으로, 팩트 체크 목록 패턴을 이용하는 데 있어 필수 사항은 아닙니다. 신뢰도 평가 시 모델은 해당 사실이 일반적인 연구와 합의를 기반으로 했는지, 기록의 완전성과 편향성 여부, 해석의 다양성 등 여러 항목을 반영할 수 있습니다. 특히, 해석의 다양성으로 인해 다른 의견이 존재할 경우 신뢰도가 낮게 평가될 수 있습니다.
또한 신뢰도 평가 시 동일 정보라도 모델의 응답 무작위성(평가 기준의 무작위성 포함)에 따라 다른 수치가 출력될 수 있습니다. 그렇다고 동일 정보에 대해 수치가 50%였다가 갑자기 95%가 나오는 식으로 크게 널뛰기할 가능성은 희박하니, 팩트 체크 시 참고하는 정도로는 충분히 사용할 만합니다.
팩트 체크 목록 패턴을 이용하면, 다음과 같은 이점을 얻을 수 있습니다.
검증 용이성: 사용자는 제시된 사실들을 독립적으로 검증할 수 있으며, 이를 통해 답변의 정확성을 스스로 평가할 수 있습니다. 이는 정보의 출처가 모호하거나 오류가 있을 수 있는 경우, 특히 중요합니다.
투명성과 이해도 증대: 답변 중 체크해야 할 주요 정보들을 정리해서 볼 수 있어, 모델이 답변을 어떻게 구성했는지 이해하는 데 도움이 됩니다.
교육적 가치: 사용자는 팩트 체크 과정을 통해 비판적 사고 능력을 향상시킬 수 있으며, 정보의 신뢰성을 평가하는 방법을 훈련할 수 있습니다.
물론, 팩트 체크 목록 패턴도 한계를 갖고 있습니다. 팩트 체크 목록 역시 모델의 내부 계산 및 판단에 기반하기 때문에 완전히 신뢰할 수는 없습니다. 또한 팩트 체크 목록을 통해 도움을 받을 수는 있지만, 여전히 사용자는 제시된 사실들을 독립적으로 검증하기 위해 시간과 노력을 투자해야 합니다.
사실 이러한 팩트 체크 과정에 시간이 많이 소요되기 때문에, 대형언어모델은 해당 분야에 대한 전문 지식을 가진 사람이 이용할 때 특히 유용합니다. 모델의 답변을 받아 본 즉시, 사용자가 기존 지식을 기반으로 답변의 신뢰성을 판단하고 내용을 취사선택하여 사용할 수 있기 때문입니다. 그런 경우, 생산성 증대에 엄청난 도움이 될 수 있습니다.
정리하면, 팩트 체크 목록 패턴은 모델의 답변에 대한 사실 확인 과정을 구조화하고 투명하게 만들어, 사용자가 정보의 신뢰성을 평가하고 추가 검증을 수행하는 데 도움을 줍니다. 이 패턴은 특히 복잡하거나 논쟁의 여지가 있는 주제에 대한 모델 답변을 다룰 때, 사용자가 보다 신뢰할 수 있는 결정을 내릴 수 있도록 돕는 효과적인 방법입니다.
AI를 이용하면서 팩트 체크를 하지 않는 건,
비 오는 날 우산 없이 외출하는 것과 같아요. 결국은 젖게 되죠.
