자동화 팩트체킹 톺아보기4(마지막)
4. 콘텐츠 작성과 배포
4.작성 및 배포(Create and Publish)
팩트체킹의 마지막 단계는 사실 확인을 한 콘텐츠를 만들고 배포하는 일이다. 사실, 확인한 결과는 명료해야 하고 설득력이 있어야 한다는 점에서 사람이 쓰는 것이 가장 효과적일 수 있다. 그러나 ‘그는 이런 말을 한 적이 없다’ 또는 ‘다른 데이터는 다른 내용을 보여준다’와 같이 루틴으로 사용되는 표현의 경우 자동화의 여지가 있고, 로봇 저널리즘에서 사용되는 방법이나 기존의 팩트체킹 결과물을 구조화된 데이터로 저장해 놓은 것 등이 결과물을 자동으로 표현하는 것에서 유용하게 사용될 수 있다.
그런데 팩트체킹 결과를 단순히 작성하는 것만으로는 부족하다. 팩트체킹 기관은 자신들이 만든 결과물을 가장 효과적으로 배포하는 방법을 고민해야 한다. 팩트체킹 결과는 그것이 가장 필요한 사람들(루머가 루머인지 모르는 사람들?)에게 매우 효과적이고 효율적으로 전달되어야 하기 때문이다. 이 과제를 해결하기 위해서 자동화 팩트체킹이 사용 가능한 방법은 두 가지다.
먼저는 이용자들에게 실시간으로 팩트체킹 결과를 보여주는 것이다. 워싱턴포스트의 Truth Teller 데모 버전과 같이 비디오를 시청하는 동안 팩트체킹의 결과를 주석으로 보여주거나, 웹사이트를 방문하면 그 페이지의 신뢰도를 나타내는 등의 방법이 가능하다. 결과를 실시간으로 보여주기 위해서 많은 자동화 팩트체킹 도구들은 브라우저 익스텐션을 통해 이용자에게 항상 접근하려고 한다.
Truth Teller
워싱턴포스트가 2013년 나이트 재단(Knight Foundation)의 후원을 받아 베타버전으로 출시한 실시간 사실확인 시스템이다. 정치 연설을 스크립트화하고 연설에서 나오는 주장들을 기존의 워싱턴 포스트 팩트체킹의 사실 확인 주장들과 대조하여, 연설을 비디오로 재생하면서 실시간으로 그에 대한 사실 여부를 자동으로 보여주는 방식이다(Truth Teller Team, 2013). 그러나 기술의 한계로 허위인 것을 진실로 판명하는 등 한계가 있어 현재는 서비스를 중단했으나 워싱턴포스트는 이 프로젝트가 중단된 것은 아니라고 밝힌 바 있다(Wilner, 2016).
그림 12. Truth Teller 베타 버전 화면.비디오를 시청하는 동시에 오른쪽에 토론 내용이 자동으로 자막으로 나오고, 이 중 사실 확인이 된 사실에 대해서는 아래에 파란 글씨로 팩트체킹 결과를 실시간으로 볼 수 있다.
Truth Goggles
Truth Goggles은 MIT 미디어랩에서 개발 한 것으로, 처음에는 웹 상의 잘못된 정보들을 이미 갖고 있는 사실 확인 된 주장과 대조하여 식별하는 것을 목표로 시작되었다. 이는 브라우저 익스텐션으로 서비스되었는데, 이용자가 웹페이지를 보다가 사실 확인이 필요한 문장을 클릭하면, 그것에 대한 사실 확인이 된 것이 있다면 오른쪽 날개 부분에 그 결과가 작은 창으로 띄워져 나타난다. 그리고 브라우저에 필터를 적용하면 사실 확인이 된 문장이 색깔로 구분되어 보여지기도 했다. 그러나 자연어 처리 기술의 한계로 인해(Wilner, 2016), 현재는 웹사이트나 특정 이야기에 언론인을 포함한 일반 사람들이 주석을 달아, 의심해야 하는 부분이나 사실로 확인된 정보 등을 상호 확인할 수 있도록 이야기의 신뢰도 층을 만드는 방향으로 바뀌어 운영되고 있다(Silverman, 2014). 과거 버전은 현재는 서비스되지 않지만 이용자가 실시간으로 팩트체킹 결과를 확인할 수 있도록 한 점에서, 결과의 효과적인 배포를 위한 좋은 모델로 평가된다.
그림 13. Truth goggles 사실 표시 방법 예시FactPopUp (링크)
크롬 익스텐션 설치를 통해서 제공되는 서비스로, 팩트팝업을 사용하면 팩트체킹 기관들이 컴퓨터에서 정치 행사의 실시간 스트림을 보는 사용자들에게 실시간으로 사실 확인 결과를 제공하는 것을 볼 수 있다. 폴리티팩트가 이를 활용하여 2016년 선거 토론에서 500명 이상의 사람들이 참여하는 테스트를 실시한 바 있다(Hathi, 2017).
그림 14. 팩트팝업 사용 예시RealDonalContext 크롬 익스텐션 (링크)
워싱턴포스트의 기자인 Philip Bump가 출시한 크롬 브라우저 플러그인이다. 도널드 트럼프의 트윗을 클릭하면 하단에 그 트윗에 대한 워싱턴 포스트의 팩트체킹 결과를 요약하여 보여준다. 해당 트윗이 불확실하거나 잘못되었거나, 중요한 맥락이 빠져있거나 또는 완전히 거짓말인지를 보여주고, ‘더보기’를 누르면 워싱턴포스트의 해당 기사로 넘어갈 수 있다. 이 서비스는 워싱턴포스트가 수행한 팩트체킹 결과만을 보여준다는 한계가 있지만(Machkovech, 2016) 트럼프의 발언에 대한 사실 확인 결과를 추적하는 데에는 매우 유용한 배포 방법이다.
그림 15. RealDonalContext를 설치한 뒤 트럼프의 트윗을 클릭한 화면 예시르몽드(Le monde)의 Decodex http://www.lemonde.fr/verification/
르몽드(Le Monde)는 구글의 Digital News Initiative에서 자금을 지원받아 Decodex라는 자동 팩트체킹 도구를 개발하여 2017년 2월부터 서비스하고 있다. Decodex는 소스 디렉토리를 구성하여 인터넷 사용자가 정보를 발행한 주체를 이해하는 것을 도움으로써 잘못된 정보의 전파를 막고 인터넷 이용자들이 사이트와 생산자들의 정글 속에서 올바른 방향을 찾도록 하는 것을 목표로 한다. 이 도구는 이용자가 직접 원하는 사이트의 주소를 검색하거나 브라우저 확장 프로그램을 사용하여, 또는 페이스북 메신저 봇을 통해서 웹사이트의 신뢰도를 알 수 있도록 한다. 디코덱스는 웹사이트의 소스에 따라서 세 가지 색깔로 신뢰도를 표현한다. 잘못된 정보를 정기적으로 발행하는 사이트의 경우 해당 사이트를 경계하고 다른 정보의 출처를 찾기를 권하는 빨간색을 표시하며, 신뢰성이나 접근 방식이 의심스럽고 경고할 만한 사이트의 경우 노란색을 표시하여 다른 사이트를 예비적으로 읽을 가치가 있음을 권면하고, 진짜 정보를 찾을 수 있지만 풍자적이거나 패러디적인 기사가 있는 사이트의 경우 파란색으로 표시한다(decoders, 2017).
그림 16. 데코덱스 검색 엔진의 사례(출처: http://www.lemonde.fr/verification/source/70-news/)그림16. 대표적인 가짜뉴스 사이트를 검색하면 그에 대한 설명과 함께 빨간색 표시로 경고를 표시해준다.
그림 17. 데코덱스 크롬 익스텐션 설치 예시그림17. 크롬 익스텐션 설치 후 웹페이지를 방문하면 바로 해당 페이지의 신뢰도를 볼 수 있다.
팩트체크 결과를 효과적으로 배포하기 위해 사용되는 두번째 자동화 방법은 팩트체커나 언론인들에게 검증 대상 주장들을 추적할 수 있게 하는 것이다. 팩트체커들에게 자신들의 결과물이 얼마나 효과적인지를 모니터링할 수 있게 하고, 어디에서 누가 잘못된 정보를 담은 주장을 퍼뜨리고 있는지를 확인할 수 있게 하여, 언제, 누구에게, 어떻게 팩트체킹 결과물을 전달해야 잘못된 정보의 전파를 막을 수 있는지를 알 수 있도록 하는 것이다. 풀팩트가 만들고 있는 Trends가 이에 해당한다.
풀팩트의 Trends
풀팩트가 개발하고 있는 트렌즈는 팩트체커들을 위한 모니터링 도구이다. 누가 부정확한 정보를 반복해서 생산하거나 전파하고 있는지를 확인하여 팩트체커들이 그들의 업무의 효과를 최대화, 즉 잘못된 정보를 빠르고 정확하게 바로잡기 위해 타게팅을 할 수 있도록 하는 도와주는 도구이다. 풀팩트 출범 초기에는 잘못된 정보를 바로잡는 데에 9개월이나 걸린데 반해, 2015년에는 TV쇼에서 나온 잘못된 정보를 동일한 TV쇼가 하는 동안 바로잡기에 이르렀는데, 이러한 도구를 사용하면 인터넷 세상 전반에 걸쳐 더욱 효과적인 팩트체킹이 가능할 것으로 기대하고 있다. 또 현재로서는 팩트체킹의 결과가 현재 얼마나 효과적인지도 알 수가 없는데, 이 도구를 사용하면 팩트체킹 이후에 잘못된 주장이 얼마나 줄었는지에 대한 성과를 파악할 수도 있다.
그림 18. Trends 프로토타입 인터페이스(그림18 출처:
https://fullfact.org/blog/2017/feb/what-automated-factchecking-and-how-will-it-work/)
그림 18. 특정한 주장에 대해 그것이 불확실한 정보인지 조작된 정보인지 등에 대한 결론을 보여주고(conclusion), 이 주장이 어떤 곳에서 나타나는지를 보여주며(sightings), 이 주장이 발생하는 정도를 그래프로 보여준다.
시사점
지금까지 팩트체킹의 자동화를 가능하게 하는 도구들을 살펴보았다. 현재 많은 자동 팩트체크 도구들이 개발되고 있으나, 아직 한국어 기반 자동 팩트체킹이 상용화된 것은 없는 상황이다. 이는 물론 영어권의 시장이 크기 때문도 있지만, 한국어 자연어 처리 기술의 어려움 때문이기도 하다. 한국어 자동 팩트체킹은 아직은 연구 단계에 머물러 있고, 이를 현실화하기 위해서는 더 많은 사실확인 데이터의 축적과 팩트체킹을 수행하는 언론사와 이를 연구할 수 있는 학계의 협업이 필요하다.
자동화된 팩트체크는 인간의 일을 덜어주는 동시에 인간이 개입하여 생기게 되는 주관성을 배제해줄 것이라는 기대를 받고 있다. 그러나 기술도 사람이 만드는 것이라는 점에서 결코 완전히 중립적일 수는 없다. 기술은 설계 당시에 포함된 인간의 편견을 오히려 더 강화할 위험을 갖고 있고, 또 기술의 기반이 되는 초기 데이터가 편향될 수도 있다. 따라서 오세욱(2017a)은 사실을 자동으로 확인하는 기술에도 지켜야할 원칙이 필요하다고 주장한다. 특히, 팩트체크의 일반적인 원칙에도 포함되는 ‘투명성’의 가치가 자동 팩트체크에서는 더욱 중요해진다. 데이터의 불확실성, 데이터 수집에 대한 모델, 데이터 변형과 편집, 처리 과정에 대한 투명성을 요구해야 한다는 것이다.
전세계에서 사용 가능한 투명한 자동화 팩트체킹 도구를 활성화하기 위해서, 풀팩트는 자동화 팩트체킹의 원칙들을 제안했다(Full Fact, 2016). 이 원칙들을 고려한 연구들이 활발히 이루어진다면 투명성을 최대한 보장하는 한국어 기반 자동 팩트체킹 도구를 만드는 데에도 도움이 될 것이라는 점에서, 자동화 팩트체킹 원칙을 소개하는 것으로 이 글을 맺는다.
풀팩트가 자동화 팩트체킹의 국제적인 협력을 위해 제안하는 원칙들
1.표준화된 데이터 형식
어떤 새로운 자동 팩트체킹 도구가 나오더라도 알려진 자료들을 활용할 수 있도록 콘텐츠를 저장하는 열린 표준화된 형식이 있어야 한다. 이를 통해, 모니터링 도구들은 같은 형식의 결과물을 내고, 팩트체킹 도구들은 같은 형식의 소스를 사용할 수 있다. 이 형식은 날짜나 지역, 연설자 등의 맥락적인 정보도 함께 저장해야 한다.
2.모니터링 시스템의 공유
팩트체커들은 미디어, 소셜미디어, 정부 자료 등을 24시간 모니터링해야 한다. 이런 소스들을 모니터링하는 도구를 만드는 데에는 많은 노력이 필요하므로, 불필요하게 중복되는 일을 막기 위해서는 팩트체커들과 연구자들이 동일하거나 호환 가능한 모니터링 도구를 공유하기 위해서 협력해야 한다.
3.열린 평가와 평가의 공유
자동화 팩트체킹 연구자들이 팩트체커들의 요구를 명확히 파악하고 다양한 접근으로 효과성을 비교하기 위해서는 자동 팩트체킹의 성공 기준을 널리 공유해야 한다. 풀팩트가 생각하는 성공적인 자동화 팩트체킹 시스템이란, 팩트체커들과 언론인들의 시간을 절약해주고 부정확한 주장의 전파를 제한함으로써 팩트체킹을 더 효과적으로 만들어주는 것이다. 이에 따르면 모든 것을 수행하는 종합적인 도구 보다는 정확한 도구가 더 좋다. 많은 검증 대상들 중에서 10%를 정확하게 모니터링하고 확인할 수 있다면 자동 팩트체킹이 없을 때 보다 10%나 더 많은 주장을 확인할 수 있는 것이다. 반면 주장들 중 20%를 모니터링하고 확인하지만 그 결과가 부정확하다면, 이는 팩트체커의 일을 덜어주기보다는 일을 부가하기만 할 것이다.
4.로드맵 출판
연구자들과 팩트체커, 미디어 기구들이 자신들의 자동화된 팩트체킹 로드맵을 발행할 것을 제안한다. 로드맵은 후원자들에게는 프로젝트의 중요성을 인식하도록 돕고, 팩트체커와 연구자 간의 협력을 촉진하고, 봉사자, 연구자, 파트너, 후원자들을 이끌 것이다.
5.전세계를 생각하기
전세계의 독립적인 팩트체커들이 서로의 일을 지지하고 협력하는 것을 목표로 하는 것처럼, 다양한 언어와 국가에도 적용 가능한 도구를 만드는 것을 목표로 삼아야 한다. 이는 디자인의 초기 단계에서부터 계획되어야 하고 부가적인 노력과 비용이 들어갈 것이지만, 다양한 국가들의 서로 다른 조직들이 같은 것을 만들기 위해 처음부터 시작하는 것 보다는 적은 노력이 든다. 물론 특정 언어에만 잘 부합하는 방식이 있을 수 있지만 가능한 다양한 언어에 적용되는 방법을 고민하는 것은 여전히 유용하다.
참고문헌
동아사이언스. (2017, 5, 12). 가짜 뉴스 꼼짝 마! 팩트 체크 인공지능 나선다. https://goo.gl/gqnpHI
오세욱. (2017a). 자동화된 사실 확인 (fact checking) 기술 (technology) 의 현황과 한계. 사이버커뮤니케이션학보, 34(3), 137–180.
오세욱. (2017b). 팩트체킹의 현재와 자동화한 팩트체킹: 편견 없는 “완벽한” 팩트체킹을 위하여. 신문과 방송, 22–25.
Babakar, M. (2017, 6, 29). Automated Factchecking at Full Fact. Retrieved from https://fullfact.org/blog/2017/jun/automated-fact-checking-full-fact/
Ciampaglia, G. L., Shiralkar, P., Rocha, L. M., Bollen, J., Menczer, F., & Flammini, A. (2015). Computational Fact Checking from Knowledge Networks. PLOS ONE, 10(6), e0128193. https://doi.org/10.1371/journal.pone.0128193
decoders. (2017, 1, 23). L’annuaire des sources du Décodex : mode d’emploi. Le Monde.fr. Retrieved from http://www.lemonde.fr/les-decodeurs/article/2017/01/23/l-annuaire-des-sources-du-decodex-mode-d-emploi_5067719_4355770.html
Full Fact. (2016). The State of Automated Factchecking. Retrieved from https://fullfact.org/media/uploads/full_fact-the_state_of_automated_factchecking_aug_2016.pdf
Full Fact. (2017, 5, 23). Automated Factchecking at PyData Conference 2017. Retrieved from https://fullfact.org/blog/2017/may/automated-factchecking-pydata-conference-london-2017/
Hassan, N., Zhang, G., Arslan, F., Caraballo, J., Jimenez, D., Gawsane, S., … Nayak, A. K. (2017). ClaimBuster: The First-ever End-to-end Fact-checking System. Proceedings of the VLDB Endowment, 10(7).
Hathi, G. (2017, 1, 26). FactPopUp: Automated fact-checking tool has been updated. Retrieved 2017년 10월 31일, (으)로부터 https://reporterslab.org/factpopup-new-version-automated-fact-checking/
Kwon, S., Cha, M., & Jung, K. (2017). Rumor detection over varying time windows. PloS one, 12(1), e0168344.
Machkovech, S. (2016, 12, 17). Trump tweets can now be automatically fact-checked, thanks to Washington Post. Retrieved from https://arstechnica.co.uk/tech-policy/2016/12/washington-post-automatically-inserts-trump-fact-checks-into-twitter/
Silverman, craig. (2014, 6, 30). Truth Goggles launches as an annotation tool for journalists | Poynter. Retrieved from https://www.poynter.org/news/truth-goggles-launches-annotation-tool-journalists
Truth Teller Team. (2013, 9, 25). Announcing Truth Teller beta, a better way to watch political speech. Retrieved from https://www.washingtonpost.com/news/ask-the-post/wp/2013/09/25/announcing-truth-teller-beta-a-better-way-to-watch-political-speech/?utm_term=.3ac588451e15
TwitterTrails. (2017, 5, 9). Evidence of pizzagate conspiracy theory on TwitterTrails. Retrieved from https://blogs.wellesley.edu/twittertrails/
Wilner, T. (2016, 9, 7). Fail and move on: Lessons from automated fact-checking experiments. Poynter. Retrieved from https://www.poynter.org/news/fail-and-move-lessons-automated-fact-checking-experiments
(끝)