다음 뉴스에 담긴 기술

월간 ⟪Tech Ethics⟫1호 

AI, 기술을 이용자와 사회에 쉽고, 투명하게

추천 알고리듬, 생성형 AI 등 더욱 다양해지고 복잡해지는 기술의 변화 속에서도 카카오는 ‘기술과 사람이 만드는 더 나은 세상’을 만들겠다는 초심을 항상 생각합니다.  

편리한 서비스를 제공하는 것뿐만 아니라 새로운 기술이 어떻게 적용되는지 이용자뿐만 아니라 우리 사회에 상세하고 투명하게 설명하는 과정은 디지털 기업의 중요한 책임입니다. 카카오는 모든 기술이 이용자에게 도움이 되도록 지속적으로 노력하면서 카카오 기술과 서비스에 대한 우리 사회의 목소리에 항상 귀기울이고 있습니다. 

이번 글을 시작으로 발행되는⟪Tech Ethics⟫은 AI를 포함한 카카오의 기술과 관련 정책을 이용자와 사회에 보다 쉽고 간명하게  알리려는 취지로 만들어졌습니다. ⟪Tech Ethics⟫에는 카카오 공동체의 AI 기술 및 정책이 담길 예정입니다. 

다음뉴스에 담긴 기술

 ⟪Tech Ethics⟫ 1호에서는 ‘다음뉴스’ 배열에 담긴 카카오의 기술과 정책을 소개합니다. 

뉴스가 궁금할 때 스마트폰을 켜고 찾아보는 다음뉴스.  

언제부턴가 내가 즐겨보던 뉴스가 평소보다 손쉽게 눈에 띄고, 뉴스 카테고리에도 ‘최신순, 개인화순, 탐독순’이라는 새로운 탭이 생겼습니다. 이러한 변화에는 다음뉴스의 치열한 고민과 새로운 기술이 적용됐습니다. 

더 많은 편익을 제공하기 위한 기술의 변화

 

다음뉴스는 이용자에게 어떻게 하면 가장 필요하고 좋은 기사를 제공할까를 고민하고 있습니다. 

2015년 6월 국내 처음으로 실시간 이용자 반응형 추천 알고리듬을 서비스에 적용한 것도 이용자에게 다양하고 시의적절한 기사를 제공하기 위함이었습니다. 

추천 알고리듬 도입으로 이용자들에게 전달되는 뉴스는 보다 다양해졌습니다. 서비스 첫 화면에는 보다 많은 기사가 제공됐습니다. 기술 도입 전에 비해, 노출되는 기사량은 3.5배 증가했습니다.  IT·과학 뉴스는 3.3배, 국제 뉴스는 5.1배, 문화생활 뉴스는 5.5배 이상 노출량이 늘어나는 효과도 있었습니다. 

추천 알고리듬 도입 후, 카카오는 여러 방식을 통해 지속적으로 사회에 알고리듬 구조 및 구동 원리를 설명했습니다. 2017년 3월에는 뉴스 알고리듬의 주요 구조를 논문으로 학계에 소개한 바도 있습니다. 뉴스 서비스에 도입된 추천 알고리듬에 대한 건전한 학계 논의의 장(場) 확대에 기여하고자 함이었습니다. [참고: 관련 내용이 담긴 브런치 스토리] 

카카오는 추천 알고리듬의 한계에 대해서 지속적으로 고민했습니다. 추천 알고리듬을 통한 기사 선별 과정이 독자들의 관심을 끌기 위한 경쟁을 부추겨, 저널리즘의 질을 높이는 방해 요소가 된다는 사회적 비판이 제기되기도 했습니다. 

다음뉴스의 새로운 방향성

다음뉴스는 새로운 방향성을 고민했습니다. 다음 뉴스는 2022년 8월, 언론사에게는 주요뉴스 편집권을, 이용자에게는 기사배열을 세 가지  형태(최신순∙개인화순∙탐독순)로 제공하는 새로운 편집, 배열 방식을 도입했습니다.

<그림 1> 다음 뉴스 개편의 변화 방향

2022년 8월에 도입된 뉴스 배열 편집 방식의 목표는 크게 네 가지였습니다. 

이용자들에게 1) 최신 뉴스를 효과적으로 제공하고 2) 뉴스 서비스 이용자 개개인별로 관심있는 뉴스를 추천하고 3) 단순히 클릭수가 많은 기사가 아니라 오랫동안 읽는 기사를 선별하는 것이었습니다. 

그리고, 4) 이용자에게 제공되는 뉴스의 다양성을 지속적으로 확보하는 것도 개편된 뉴스 배열 방식의 지향점이었습니다.

시간, 반응, 몰입이 반영된 다음뉴스의 방향성

<그림 2> 배열 선택권 도입 전후의 모바일 다음 뉴스 첫 화면 비교 

이용자들은 뉴스 첫 화면에서 선호하는 뉴스 제공 방식을 선택할 수 있습니다. 선택지는 최신순, 개인화순, 탐독순, 이렇게 세 가지 입니다. 

① 최신순: 새로운 뉴스를 보다 효과적으로 전달하다

뉴스 소비자는 시의성을 중시합니다. 가능하다면, 최신 뉴스는 빠르게 접하고 싶어 합니다. 이미 본 뉴스보다는 새로운 소식의 소비를 선호합니다. 한 번 소비자에게 노출된 기사의 배열 순위는 낮아지게 설정했습니다. 이용자가 본 기사는 재방문 시 추천하지 않도록 알고리듬이 설계 됐습니다. 

하나의 사건에 대해, 여러 매체에서 기사를 배포하기도 합니다. 이럴 때는 동일한 기사가 한꺼번에 쏟아 지기도 합니다. 다음뉴스는 이런 상황이 생기면 기사 제목과, 본문에 쓰인 텍스트, 기사 본문 내 이미지 간 유사도, 이미지 내 인물 인식 등을 바탕으로 기사를 유사 그룹으로 묶어서, 한 그룹 내 기사가 여러 개 노출되는 것을 막아서 이용자들의 효율적 뉴스 소비 환경을 만들고자 했습니다. 

② 개인화순: 이용자들의 피드백을 반영하다

개인화순은 이용자 기사 소비 이력을 바탕으로 이용자가 소비할만한 기사를 배열하는 방식입니다. 이용자들은 뉴스 소비 성향을 기준으로 여러 개의 집단(클러스터)으로 구분됩니다. 이 과정에서 이용자 개개인의 정치·사회적 성향이나 가치관 등을 반영하지 않습니다. 같은 클러스터로 묶인 이용자 대상으로 뉴스가 추천됩니다. 한 명의 이용자가 하나의 클러스터에 속하는 방식이 아니라, 각 클러스터에 속할 확률을 예측하여 뉴스 추천이 이뤄집니다. 클러스터는 뉴스 카테고리, 주제 등을 기준으로 계속 변화합니다. 변화 주기는 실시간입니다. 

③ 탐독순: 몰입도 높은 뉴스를 이용자에게 추천하다

이용자들이 실제 탐독해서 본 기사들을 더 많은 이용자들에게 추천하는 방식을 적용했습니다. 다음뉴스는 언론사가 보내온 기사의 본문 길이, 이미지 개수, 영상 유무를 고려해 이용자의 예상 체류시간을 실제 체류시간과 비교해 이용자가 얼마동안 기사 본문에 머물렀는지 측정하는 ‘탐독지수(Deep reading index)’를 개발한 바 있습니다. 이 지수는 자극적인 기사 제목과 썸네일 이미지 기사의 클릭률이 높을 순 있지만 탐독 시간은 짧다는 것을 이용자 소비 데이터를 통해 파악한 결과에 기반을 둡니다(Lee & Kim, 2019).  

탐독지수가 높다면, 이용자들이 해당 뉴스 콘텐츠에 대한 만족도가 높은 것으로 가정했습니다. 탐독지수는 기사의 예상 체류시간과 실제 체류시간을 비교해, 이용자의 실제 체류시간이 예상치 보다 높을 경우에 커집니다. 예상 체류 시간은 기사에 포함된 기사 본문 등의 정보량을 근거로 계산됩니다.

뉴스 개편이 만들어 낸 변화

다음뉴스는 개편이 만들어 낸 변화 중 ‘다양성'에 주목했습니다. 온라인에서 다양성은 중요 지표로 간주되고 있습니다. 미국의 연방통신위원회(FCC)가 다양성 지수를, 유럽연합 집행위원회의 매체 다원성 모니터링 등을 통해 매체 집중도 및 여론 다양성을 측정하고 정기적으로 결과를 공개하고 있기도 합니다.

개편된 뉴스 서비스 체계가 만들어 낸 다양성을 살펴보고자, ‘다양성 지수’를 개발했습니다. 

‘다양성 지수'는 다음뉴스에 새롭게 적용된 뉴스 개편이 이용자들의 뉴스 소비 패턴에 어떤  변화를 만들었는지 데이터를 바탕으로 정확하게 측정하기 위해 만들어졌습니다.

카카오는 2022년 10월 첫 작업에 착수해서 AI, 언론, 미디어 등 외부 전문가들로 구성된 카카오 미디어문위원회(현 카카오 뉴스투명성위원회) 검토를 거쳐 다양성 지수의 개발을 완료했습니다. 

<그림 3> 다음 뉴스 개편에 반영된 다원성과 다양성

2022년 8월 서비스 개편 이후 73% 확대된 다양성

다음뉴스의 ‘다양성지수’는 0에서 1사이의 수치로 표시되는 ‘지니 계수'(소득분배가 완전평등한 경우가 0, 완전불평등한 경우가 1) 모형을 차용했습니다. 다양성 지수가 1에 가까워질 수록 더욱 많은 언론사, 다양한 이슈와 기사가 이용자에게 전달된다고 이해하시면 됩니다.

다양성지수를 통해 2022년 7월 부터 2023년 2월까지 이용자에게 전달된 콘텐츠를 토대로 다음뉴스 서비스의 다양성을 분석했습니다. 개편 후 2023년 2월까지 뉴스 기사배열 방식 도입 이후 기사별, 매체별, 이슈별로 다양성이 어떻게 변화되었는지를 정량적으로 측정한 것입니다.

2022년 8월 배열선택권을 적용한 서비스 개편 이후로 다양성이 지속적으로 개선됐다는 점이 확인됐습니다.  개편전 7월 평균 다양성지수는 0.048이었으나 개편후 2023년 2월 평균은 0.083로 73.7% 상승했습니다. 

<그림 4> 댜양성 지수를 기준으로 한 다음 뉴스 개편 전후의 변화

구체적 항목별로 살펴보면  언론사의 다양성은 큰 폭으로 개선(0.264→0.370)됐습니다. 뉴스배열 방식의 개편으로 이용자들이 더 다양한 언론사의 뉴스를 소비했음을 의미합니다. 

이용자들이 기존보다 더 다양한 뉴스를 소비하게 됐다는 점도 확인됐습니다. 이슈별 다양성지수는 이용자에게 얼마나 다양한 이슈를 제공(노출)했는지 측정한 결과인데. 이 부분도 0.072에서 0.158로 예전에 비해 2배 이상 상승했습니다. 

뉴스 이용자들에게 다양한 뉴스를 제공했지만 카테고리별 노출 다양성은 개편전 0.524에서 개편 후 0.422로 약 20% 감소했습니다. 다양성의 감소는 이용자의 뉴스 소비가 정치와 경제, 사회에 집중된 결과였습니다.

계속해서 노력하겠습니다

다양성 지수를 도입하고 다음뉴스를 총괄하는 다음CIC 미디어사업실의 임광욱 실장의 이야기로 글을 맺음하겠습니다. 

“다음뉴스는 이번 다양성지수 결과를 통해 뉴스배열 시스템 개편으로 다양성을 확대할 수 있음을 확인하였지만, 증가한 다양성이 필수적인 주제의 뉴스를 이용자에게 전달하는 데는 일정 부분 한계가 있을 수 있음을 알게 됐습니다. 이번 결과를 바탕으로 중요한 정보를 신속하게 전달하면서 이용자에게  다양한 정보를 제공하는 기술적 고민은 지속되어야 한다는 점을 깨닫게 된 점은 중요한 수확 중 하나라고 생각합니다. 다음뉴스는 ‘다양성지수’를 정기적으로 측정하고 기사 배열 과정에서 다양성지수를 지속적으로 개선해 나가겠다는 점을 약속드립니다.”

❈ 이번 글을 통해 개괄적으로 설명드린 내용에 대한 보다 세부적 사항을 확인하고자 하는 분들에게 아래 콘텐츠를 추천드립니다

1. 다음뉴스 배열 설명서 https://focus.daum.net/daum/m/algorithm/part1

2. 다양성보고서 https://focus.daum.net/daum/m/algorithm/part2