네이버 뉴스알고리즘 발표회
결론은 버킹검
네이버에서 뉴스 서비스 전바에 걸친 서비스 알고리즘의 공정성/투명성 검토에 관한 발표회를 진행한다기에 뉴스팀 팀장과 함께 다녀왔다.
세미나나 컨퍼런스가 아닌 기자단 앞에서 보고를 하는 개념의 발표회라 애초에 큰 기대는 없었다. 게다가 네이버 담당자가 발표를 하는 게 아닌 위원회의 교수가 발표를 한다기에 뭔가 이상하지 않나?? 하는 생각도 했다. 뭔가 면피용 같기도 하고... (순전히 제 갠적인 생각이므로 회사의 논점과 관련이 없습니다.)
암튼 대략적인 내용은 아래와 같다.
주제 : 뉴스 서비스 전반에 걸친 서비스 알고리즘의 공정성/투명성 검토에 관한 보고
일시 : 11월 29일
발표자 : 카이스트 전산학부 맹성현 교수
들어가기에 앞서
알고리즘이 어떻게 구성되었는가에 대한 내용이 아닌 투명하고 공정하게 운영되고 있었다는 검토 결과 발표였으므로 알고리즘 관련한 구체적인 이야기나 추천하는 방식에 대한 내용은 언급이 없었음
발표 이후 Q&A 시간에 기자가 추천 방식이나 다양한 관점이라는 부분에 대해 질문했으나,
알고리즘 구성 방식이나 어떤 방식으로 운영되는 지에 대해서 알려줄 수는 없다고 답했음
발표자 내용 요약
검토위원회의 검토 대상은 뉴스검색 결과, airs추천뉴스, 연예스포츠 기사 추천에 관한 부분이었으며,
데이터, 자질 및 알고리즘 선정, 서비스 공개 및 운영, 전 과정에 걸친 절차를 검토, 모두 문제의 여지없이 운영되고 있음을 확인했음
1. 뉴스검색
뉴스검색결과는 뉴스의 연관성, 시의성, 품질을 기반으로 하고 있으며, 연관성, 품질에 대한 기준이나 가중치에 대해서는 구체적으로 말해줄 수 없다고 함
뉴스검색 결과는 알고리즘을 통해 자동으로 배치되고 있는 것을 확인, 원칙적으로 관리자가 개입할 수 없는 구조
뉴스 기사의 수정/삭제는 언론사에서 직접 등록/수정/삭제한 것을 전송하면 실시간 반영되는 프로세스로 네이버 측에서 직접 삭제, 수정하지는 않음
어뷰징 기사나 낚시성 기사를 쓰는 언론사에 대해서는 품질을 낮추고, 언론사 및 기사 단위로 자질을 부과하여 걸러내고 있음.
2. Airs 뉴스 추천
뉴스 이용자들의 피드백 데이터를 사용하여 생성 – 유사 사용자들의 패턴 확인(사용자들 관심도+기사품질 고려)
클릭, 기사 생성 후 일정 기간 동안 누적조회수 및 체류시간
가중치 상위/하위 기사를 긍정적/부정적 데이터로 구분
기존 관심사와 다른 새로운 뉴스 기사가 함께 추천될 수 있는 자질도 함께 사용(관련한 기준은 말해주지 않음)
Airs 뉴스 추천을 통한 기사 수와 기존 편집 뉴스의 기사 수를 비교한 결과 다양한 관점의 기사와 여러 언론사에서 작성한 기사를 접할 기회를 제한하지 않는 것으로 확인(관련하여 다양한 관점이라는 기준은 어떻게 마련되었는지는 말해주지 않음)
3. 연예/스포츠 기사 추천
연예/스포츠의 경우 일반 기사와 다른 기준을 적용하여 운영 중
스포츠 기사는 평시/상보(경기 종료 이후 나오는 기사)로 구분
기사의 댓글 수, 기사 클릭 정보를 추천 데이터로 사용
연예/스포츠 전문지일 경우 가산점, 실시간 업데이트와 최신성 강조
4. Q&A (네이버측 담당자가 아닌 검토위원회 교수들이 답하였음)
Q. 같은 이슈를 다루는 기사의 경우 메인이나 상위에 뜨는 기준에 대해 설명해 달라
-> 설명은 가능하나 공개할 수는 없음
-> 전통적 알고리즘 + 학습된 알고리즘 + 일부 개입 포함 종합적으로 운영(* 여기서 위의 일부 개입 포함이라고 된 부분은 교수가 말한 것을 따라 적은 것이니 언급을 한 건 확실하다. 그러나 기자가 질문한 것에 대한 답변이었으므로 정확히 그 개입이란 것은 무엇이며 어느 부분에 어느 정도 개입한다는 것인지, 그리고 앞에서 관리자 개입은 없다고 했는데 그것과는 상반되는 이야기인데 무슨 말인지에 대한 후속질문을 하지 못했고, 사실 기억이 나지 않습니다ㅠㅠ)
Q. 단독 기사가 아닌 우라까이 기사가 상단에 뜨는 경우가 있는데?
-> 뉴스 검색이 10월 10일부터 베타 서비스 중이니까 지속적으로 개선될 여지 있을 것
-> 단독/후속 기사의 경우, 기사 작성 일시를 확인하여 반영하는 것은 가능하지만 기사 내용으로 식별하기는 힘든 부분 있음
Q. 검색 결과 알고리즘
-> 구글의 경우 검색 시 뉴스와 매체의 평판이 크게 차지하여 상위 결과로 노출됨
구글의 알고리즘에 대해 공개하진 않지만 매체 평판에 가중치를 두고 있다는 것을 알 수 있는 부분이며, 네이버도 이런 부분에 대해서 고민하지 않을까 한다는 발표자의 개인 의견 있었음
5. 결론
알고리즘 설계나 데이터 수집이 문제가 될 만한 소지없이 운영되고 있음
관리자가 원칙적으로 개입하지 않으며, 개발/운영/개선의 전반적인 과정이 모두 이력으로 기록되고 있음
해당 알고리즘은 사용자 피드백과 내부 운영을 통해 지속적으로 수정, 개선할 것
** 위의 내용은 위원회의 교수가 발표한 것과 질의응답 시간에 위원회가 답변한 것을 바탕으로 정리한 것이고 내 생각을 정리한 것이 아님...
