자동화 팩트체킹 톺아보기3
3. 주장의 진위여부 검증
3.주장 검증(Check Claims)
팩트체킹의 세번째 단계는 주장의 진위 여부를 검증하는 단계이다. 풀팩트(2016)는 여기에 세 가지 접근(기존 문헌을 검토하여 대조하는 방법, 통계적 기반을 가지고 기계 학습을 통해 검증하는 방법, 주장이 전파되는 맥락을 파악하는 방법)이 주로 사용된다고 설명하고, 오세욱(2017a)은 여기에 형식 기반 방식을 추가하여 설명한다.
먼저 문헌 검토 방법은 사람 팩트체커들이 하는 방식과 똑같이 통계나 기존 문헌, 검색 엔진 등을 활용하여 주장의 진위를 분별하는 것이다. 이 경우 ‘A와 B가 결혼했다’라는 문장의 사실 확인 결과는 ‘공식적인 자료에 의하면 그들은 결혼했다’ 식으로 표현된다. 이를 수행하기 위해서는 가능한 많은 정보를 수집하여 새로운 주장과 비교해야 한다. 따라서 새로운 주장과 관련된 내용이 검색되지 않거나 기존에 보유하고 있는 데이터로는 추론이 불가능할 경우, 그리고 완전히 새로운 주장이 나올 경우에는 확인이 불가능하다는 한계가 있다(오세욱, 2017a). 구글의 지식 금고(Knowldedge Vault)를 사용하여 팩트체킹을 하는 경우가 이에 해당하며(오세욱, 2017a), 클레임버스터가 시험하고 있는 End-to-End 팩트체킹도 웹 상의 데이터를 지식 기반(Knowledge Base)으로 삼아 새로운 주장과 대조하는 문헌 검토 방식으로 볼 수 있다.
클레임버스터(Claimbuster) http://idir-server2.uta.edu/claimbuster/
클레임버스터는 최근에 사실 검증 기술을 더욱 정교화하여, 새로운 문장에 대해서 팩트체킹 결과를 자동으로 보여주는 ‘End-to-End Fact Checking’이라는 도구를 베타 버전으로 출시했다. 이는 팩트체킹의 네 단계(모니터링, 주장 확인, 주장 검증, 작성 및 배포)를 모두 수행하는 완전형 자동화 팩트체킹이다.
그림 4. 클레임버스터 시스템 설계도(Hassan et al., 2017)그림 4와 같이, 먼저 클레임버스터는 TV 토론 자막이나 소셜미디어의 문장들을 긁어모으고(Claim Monitor), 모은 문장들 중 사실 검증이 필요한 문장을 앞 절에서 살펴본 방식으로 점수화한다(Claim Spotter). 그래서 사실 검증 대상 문장이 주어지면, ElasticSearch와 Semilar 검색 도구를 사용하여 이 전에 폴리티팩트나 다른 팩트체크 기관이 같은 내용으로 팩트체킹을 한 적이 있었는지를 찾아서 매치시킨다(Claim Matcher). 이 단계에서 정보가 검색되지 않으면, 클레임 체커(Claim Checker)로 넘어가는데, 여기서는 해당 문장을 검색 엔진에서 검색하여 비슷한 문장을 찾아주거나, 해당 문장과 관련된 질문을 생성하여 울프람 알파(Wolfram Alpha)와 구글(Google)에서 질문의 답을 찾아 그 답과 검증 대상 문장 간의 차이가 있는지를 확인하여 사실 확인 검증 결과를 나타낸다. 그리고 마지막으로 이 결과들을 종합하여 팩트체크 리포터(Fact-check Reporter)가 클레임버스터 웹사이트나 트위터, 브라우저 익스텐션 등으로 그 결과를 작성하여 배포한다(Hassan et al., 2017).
그림 5. 클레임버스터의 End-to-End Fact Checking 베타버전 사용 결과그림5. (위) 미국 인구와 같은 단순한 문장에 대해서는 Knowledge Base(가장 왼쪽 칸)에서 ‘미국 인구란 무엇이지?’라는 질문을 만들어내고 이를 웹에서 검색하여, 진위 여부를 잘 검증해주었다.
(아래) Politifact에서 이미 검증된 조금 복잡한 사실 관련 문장을 검색해보았는데, 아직 베타버전이기 때문인지 문장에 맞는 내용이나 검증 결과는 얻을 수 없었다. 아직까지는 그와 관련된 정보들을 검색해주는 수준이다.
주장을 검증하는 두번째 방법인 기계학습적 접근은 확률과 수학적인 모델로 검증을 합리화한다. 이 경우 ‘컴퓨터는 그들이 아마도 결혼했다고 말하므로, 그들은 아마 결혼했을 것이다.’와 같은 가능성의 방식으로 결과를 표현할 수 있다. 이를 위해서는 훈련의 기초가 되는 사실 데이터가 풍부해야 한다. 한편으로는 알고리즘을 사용하는 것이어서 사실 확인의 근거를 인간이 투명하게 알기 어렵다는 한계가 있기도 하다. 이에 해당하는 대표적인 예로서 풀팩트는 지식 그래프(Knowledge Graph) 를 들고 있다.
지식 그래프(Knowledge Graph) (Ciampaglia et al., 2015)
‘지식 그래프’는 인디애나 주립대의 복잡계 네트워크 및 시스템 연구센터(Center for Complex Networks and Systems Research)에서 만든 팩트체크 시스템이다. 이 시스템은 팩트체킹을 개념들 간의 관계를 지식 그래프로 나타낼 때 개념 간의 거리가 최소화되는 지점을 찾는 것으로 수행한다. 연구진은 사람이 주석을 첨부한 집단적으로 검증된 사실에 기반하기 위하여 위키피디아를 사용하여 지식 그래프를 만들었다. 이를 기초로, 팩트체킹이 필요한 문장이 입력되면, 문장을 구성하는 개념을 지식 그래프에서 찾아 이들을 연결하는 최단거리를 측정하고, 이 최단거리를 활용하여 데이터를 학습시켜 사실 검증을 수행한다. 최단거리를 연결하는 링크의 수나 연결 링크를 구성하는 노드가 가진 링크의 수 등을 활용하여 진실성 가치(truth value)를 계산하여 진실성 가치가 높을수록 문장이 사실일 확률이 높다고 평가한다. 개념을 연결하는 링크의 수가 적을수록(즉 거리가 짧을수록), 그 사이의 노드가 가진 링크의 수는 낮을수록(둘을 연결하는 개념이 보편적이지 않고 구체적인 개념일수록) 진실성 가치는 높아진다.
그림 6. ‘버락 오바마는 무슬림이다’에 대한 사실 검증을 위한 지식그래프(Ciampaglia et al., 2015)그림 6. 위키피디아에서 ‘오바마’를 찾으면 파란색으로 표시된 연결된 링크들을 확인할 수 있다(a). 이 링크를 연결하면서 ‘이슬람’에 도착하는 최단거리를 찾을 수 있다(b). 그런데 그 최단거리 사이에는 ‘캐나다’라는 링크의 수가 매우 많은(30,122개) 보편적인 개념이 들어가 있어서 해당 문장의 진실성 가치는 낮다고 판단할 수 있다.
그림 7. ‘X는 공화당/민주당 이념을 가지고 있다’를 검증하기 위한 지식그래프(Ciampaglia et al., 2015)그림7. (a)는 의원들(빨강/파랑 노드)과 그들과 가까운 이념적 개념들(회색) 간의 관계를 나타낸 네트워크로, 진실성 가치가 높을수록 가까이 위치하도록 하였다. 여기에서 사용된 진실성 가치를 사용하여 기계학습적 방법으로 이념 성향을 구분한 결과가 (b)에 표시되어 있다. x축은 지식그래프를 활용해 이념을 분류한 결과이고 y축은 의회 투표 결과에 따라 분류한 결과로, 두 결과가 매우 유사하게 나타나 신뢰할 수 있는 검증이 이루어진 것으로 보인다.
세번째 방법은 맥락적 접근이다. ‘그들이 결혼했다는 주장은 반대 주장보다 열린 공간에서 더 오랫동안 살아남았으므로, 그들은 아마 결혼했을 것이다.’ 와 같이 주장을 둘러싼 외적인 데이터(발화자, 전파 양식 등)를 사용하여 주장의 진실 여부를 검증하는 것이다. 이는 주장 자체의 진위를 판단하기에는 적합하지 않을 수 있지만, 누구를 믿을 것인지에 대한 대답은 비교적 정확히 얻을 수 있다. 사용 가능한 도구로서는 정보의 전파 양상이나 사람들의 의심 표현 등으로 루머를 검증하는 트위터 트레일(Twitter Trails)이 대표적이다.
시간 흐름에 따른 루머 탐지 방법(Kwon, Cha, & Jung, 2017)
KAIST 권세정, 차미영, 서울대 정교민 연구팀은 루머가 전파되는 양상에 기반하여 루머를 예측하는 알고리즘을 제안했다. 연구 결과에 따르면 루머를 분류할 수 있는 특징은 크게 세가지이다.
먼저 정보를 퍼뜨리는 사람의 특성이다. 일반적으로 친구가 많은 사람들은 루머를 퍼뜨리지 않는다고 알려져 있다. 루머 예측을 위해서는 특히 정보가 퍼지는 초기 단계에서 전파자의 특성이 중요하게 고려되었는데, 팔로워나 친구가 극도로 많거나 적은 이용자들이 루머 전파자로 분류되었다.
둘째, 쓰이는 언어에 따라서도 루머와 루머가 아닌 것을 분류할 수 있었다. 정보 전파의 초기 단계에서, 해당 정보와 함께 그 내용을 의심하거나 부정하는 단어가 포함되거나, 전파의 시간이 흐를수록 더 강한 부정의 언어나 어디에서 ‘들었다’식의 단어가 사용되면 루머로 분류되었다.
그림 8. 루머와 비루머가 전파되는 네트워크 특성과 시간 흐름에 따른 전파 특성 (출처: 동아사이언스(2017)가 Kwon, Cha, & Jung(2017)을 재구성) 세번째는 정보를 퍼뜨리는 사람들의 관계, 정보가 퍼지는 흐름의 모습인데, 이 경우 정보 전파의 초기단계에서는 예측력이 없었고, 정보가 어느정도 전파된 후부터는 정보가 퍼지는 방향이나 네트워크 밖에서 그 정보를 가져오는 이용자들의 존재, 친구들에 의해 정보가 무시되는 모습 등으로 루머를 판별할 수 있었다. 정보가 친구들에 의해 잘 퍼지지 않고 새로운 사람이 정보를 다시 전파하기 시작하면 루머일 경우가 많다.
이 결과를 토대로 연구진은 루머를 잡아내는 알고리즘을 제안하였는데, 전파자와 언어, 네트워크의 특성을 모두 고려하는 알고리즘을 만든다면 전체적인 정확도는 높아지만 정보 전파 초기 단계에서의 예측력은 낮아질 것이고, 전파자의 특성과 언어의 특성만 고려한다면 전파 초기에도 루머를 효과적으로 예측해낼 수 있을 것이라고 설명했다.
Twitter Trails http://twittertrails.wellesley.edu/~trails/stories/index.php
Wellesley 대학 연구진이 트위터에서 정보가 전파되는 양상을 분석하여 정보의 신뢰성을 평가하는 도구이다. 아래 그림에서처럼 트위터에서 주목도가 높은 이야기들을 선별하여, 그 이야기의 전파 정도와 이용자들이 의심하는 정도를 요약해서 보여준다. 또 정보가 시간에 걸쳐서 얼마나 생산되고 어떻게 리트윗되었는지, 해당 정보를 리트윗한 계정들 간의 관계는 어떠한지 등에 대한 분석 결과를 함께 제공한다.
그림 9. 트위터 정보 전파 결과의 요약 화면. (출처: http://twittertrails.com/)그림9는 정보가 얼마나 널리 퍼졌는지, 사람들이 이에 대해 얼마나 의심하고 있는지를 보여준다.
예를 들어, 2016년 미국 대선 때 불거졌던 피자게이트 루머의 트윗 전파 양상을 살펴보면(TwitterTrails, 2017) 해당 내용을 포함한 최초의 트윗은 미국인들 대부분이 자는 시간에 생산되었고, 최초 트윗을 생산한 계정의 2천명의 팔로워들은 대부분 트럼프 지지자들을 위한 봇(bot)들이었다. 그리고 이 트윗이 리트윗된 계정들의 관계를 보면, 일반적인 트위터 대화에 비하여 매우 밀도 높은 하나의 집단을 이루고 있음을 확인할 수 있어 강력한 에코 챔버를 보여주었다.
그림 10. 피자게이트 트윗의 시간별 전파 양상 / 초기에 트윗을 생산한 계정이나 정보 전파가 수그러들었을 때 다시 이슈화하는 계정들을 알 수 있다.
그림 11. (위) 피자게이트 리트윗 관계도, (아래) 2016 부통령 선거 토론 대화 관계도.그림 11을 비교해보면 피자게이트 루머의 전파가 굉장히 편파적으로 일어나고 있음을 알 수 있다. 초록색으로 표시된 전파자들은 trump, truth, conservative 등을 태그하는 계정이다.
마지막 방법으로, 형식을 보고 사실 검증을 하는 것도 가능하다. 구글 뉴스 사이트가 뉴스에 ‘팩트체크’라는 표시를 하는 것이 이에 해당한다. 구글이 ‘팩트 체크’ 표식을 붙이는 기준은 기사의 내용이 아니라 언론사가 기사를 작성한 형식에 따른다. 언론사들은 구글의 ‘팩트체크’ 표시를 받기 위해서는 기사 본문에서 기사의 주장과 사실이 쉽게 구분되어야 하고, 사실 분석에서 출처와 방법이 투명해야 하며, 사실 확인 주체는 비정파적이고 자금 출처가 투명해야 한다. 또 기사 제목에는 사실 확인한 내용이 들어가야 한다. 중요한 점은 이러한 기준들을 위한 ‘클레임 리뷰 마크업(ClaimReview markup)’을 준수해야 한다는 것인데, 이는 문서의 구조에 대한 정보를 저장하는 컴퓨터 언어 형식이다. 즉, 구글은 기사가 자신들의 기준에 근거하여 올바른 형식으로 작성되었는지를 기준으로 사실을 검증하는 것이다(오세욱, 2017a).
(계속)