열독률 적용한 카카오 추천 알고리즘, 그 결과는?
체류 시간, 페이지뷰 일제히 상승
카카오는 지난 2018년 1월 알고리즘 윤리 헌장을 발표했습니다. 인공지능 분야를 선도하는 기업으로서 그에 걸맞은 윤리 원칙을 세우고 지켜나가기 위함이었습니다. 카카오 알고리즘 윤리 헌장의 다섯 번째 원칙은 “이용자와의 신뢰 관계를 위해 기업 경쟁력을 훼손하지 않는 범위 내에서 알고리즘에 대해 성실하게 설명한다"입니다. 그 일환으로 2017년 6월부터 다음(Daum)과 카카오톡 채널 내에 적용한 콘텐츠 추천 알고리즘의 성과를 공개합니다. 주목해야 할 특징은 기존의 추천 알고리즘을 열독률(Deep Reading Index) 지표를 포함해 고도화하자 서비스 지표가 상승했다는 점입니다.
2017년 3월 카카오I 추천 엔진 담당자들은 다음과 같은 질문을 던집니다.
“사용자에게 양질의 콘텐츠를 추천하기 위해 추가로 고려해야 하는 요소는 무엇일까?”
카카오I 추천 엔진 루빅스의 개요이미 2015년 6월 다음모바일메인 뉴스에 최초 적용해 사용 중이던 카카오I의 추천 엔진 루빅스(real-time user behavior-based interactive content recommender system, RUBICS)를 고도화하기 위함이었습니다. 당시 루빅스 추천 엔진에서 사용 중이던 핵심 지표는 콘텐츠 클릭률(Click-through Rate, CTR)이었습니다. 클릭률은 온라인 콘텐츠나 광고의 성과를 측정하는 데 사용합니다. 하지만 클릭률만으로는 콘텐츠의 질을 파악하기에는 한계가 있었습니다.
클릭률 공식: CTR = 총 클릭 수 / 총 노출 수
콘텐츠 클릭률은 제목에서 결정됩니다. 얼마나 사용자와 관련성이 높은 제목인지, 최신 이슈를 반영한 제목인지, 보편적으로 자극적인 소재를 다룬 제목인지에 따라 클릭률이 바뀝니다. 이렇다 보니 클릭률이 높은 콘텐츠는 트렌드를 반영하고 있는 시의적절한 콘텐츠로 볼 수 있습니다. 클릭률이 높은 콘텐츠를 빠르게 선별해 사용자에게 추천하면 서비스의 페이지 조회수(Page View, PV)가 높아지는 효과가 있습니다.
클릭률이 높은 콘텐츠를 추천할 때의 단점도 있습니다. 클릭률만으로는 사용자의 콘텐츠 만족도를 알아내기 어렵습니다. 사람들이 제목에 흥미를 느껴 클릭은 했는데 콘텐츠의 내용이 부실하다면 어떻게 될까요? 콘텐츠를 쓱 훑어보고 수 초만에 돌아가기 버튼을 누른다거나, 아예 서비스를 종료할 수도 있습니다. 이는 사용자도, 서비스 제공자도 원하지 않는 결과입니다. 그래서 카카오에서도 클릭률을 보완할 만한 추천 지표를 고민하게 됐습니다.
새로운 추천 지표로는 열독률(Deep Reading Index, DRI)을 고려했습니다. 원래 열독률이란 신문사에서 브랜드 가치를 평가하기 위해 측정하는 지표입니다. “지난 1주일 동안 가장 많이 읽은 신문은 무엇입니까"류의 질문을 통해 집계합니다. 카카오가 정의한, 온라인 콘텐츠에 대한 열독률은 이와는 다릅니다. 사용자의 행동 로그를 기반으로, 콘텐츠의 특성에 따라 기대되는 체류 시간에 비해 사용자가 얼마나 오래 해당 콘텐츠에 머무르며 봤는지를 측정했습니다.
열독률을 새로운 추천 지표로 고려한 이유는 크게 두 가지였습니다. 첫 번째는 열독률, 즉 본문에서의 상대적인 체류 시간이 높을수록 사용자의 콘텐츠 만족도가 높을 것이란 가정에서였습니다. 두 번째는 클릭률 대비 본문 체류 시간이 현저히 낮은 콘텐츠를 감별하기 위해서였습니다. 이런 콘텐츠는 소위 낚시를 하기 위해 본문과 관련이 적거나 지나치게 자극적인 제목을 달았을 확률이 높을 것입니다. 다시 말해, 클릭률을 보완하는 개념으로 열독률 지표를 추천 엔진에 탑재하면, 1) 본문 만족도가 높은 콘텐츠를 추천하거나, 2) 본문 만족도가 낮은 콘텐츠를 추천에서 제외해 사용자의 서비스 만족도를 높일 수 있을 것으로 봤습니다.
열독률, 어떻게 정의할 것인가?
문제는 열독률을 단순 체류 시간으로 정의해 서비스에 적용하는 데는 한계가 있다는 점입니다. 콘텐츠 본문을 구성하고 있는 정보의 특성에 따라 체류 시간에 대한 해석이 달라지기 때문입니다. 평균 체류 시간이 100초로 동일한 두 콘텐츠가 있다고 가정해보겠습니다. 첫 번째 콘텐츠는 본문의 길이가 2000자이며 1장의 이미지가 들어가 있고, 두 번째 콘텐츠는 본문의 길이가 500자이고 3장의 이미지가 들어가 있습니다. 이 경우 본문의 길이는 상대적으로 짧지만 체류 시간은 동일했던 두 번째 콘텐츠가 사용자의 관심을 더 받은 콘텐츠라고 할 수 있을 것입니다. 이처럼 개별 콘텐츠의 특성을 고려한 체류 시간 지표를 만들어야 했기 때문에 열독률 지표를 설계하게 되었습니다.
열독률(DRI) 공식: DRI = 실 체류 시간 / 기대 체류 시간
새로운 알고리즘, 어떻게 적용되었나
콘텐츠 클릭률(CTR)과 이를 보완하는 열독률(DRI)을 함께 적용한 카카오I 추천 엔진은 2017년 6월에 다음모바일메인 뉴스탭에서 시범 적용하였습니다. 6월부터 9월까지는 기존의 클릭률만 적용한 엔진과 클릭률과 열독률을 함께 적용한 엔진의 다양한 버전을 교차 테스트하였습니다. 그 결과를 확인해 클릭률과 열독률의 적정 조합 비율을 찾아냈고, 해당 추천 알고리즘을 2017년 9월 4일부터 다음모바일메인 뉴스, 연예, 스포츠탭에 전면 적용할 수 있었습니다.
두 마리 토끼를 잡은, 카카오I 추천 알고리즘
2017년 6월 새로운 알고리즘에 의한 추천 엔진을 최초 적용한 시점부터 2017년 11월까지 약 5개월 간의 성과는 어땠을까요?
결론부터 말씀드리면, 클릭률과 열독률을 조합한 추천 알고리즘으로 서비스 전체 체류 시간과 페이지뷰가 상승했습니다. 열독률이 높은 콘텐츠를 추천하면 그 콘텐츠를 추후에 보는 사용자의 콘텐츠 소비 시간도 늘 것이기 때문에, 전체 체류 시간도 증가할 것이란 점은 예측할 수 있었습니다. 반면, 열독률을 추천 지표로 넣으면 자극적인 제목의 콘텐츠 추천 비율이 줄기 때문에, 페이지뷰는 떨어질 것이라 예상했습니다. 이 예상은 보기 좋게 빗나갔습니다. 오히려 읽을 만한 콘텐츠를 추천했기 때문인지 사용자들은 더 많은 콘텐츠를, 더 오래 소비했습니다.
아래 데이터는 2017년 6월 18일(25주)부터, 클릭률-열독률 혼합 추천 엔진을 본격 적용한 9월 4일(36주)을 거쳐 2017년 11월 25일(47주)까지인 약 5개월 동안 위에서 설명한 카카오I 루빅스 추천 엔진을 통해 콘텐츠를 소비한 다음(Daum) 사용자의 로그를 분석한 내용입니다. 따라서 전체 서비스 지표는 아닙니다. 기준이 서로 다른 서비스 지표를 여러 버전으로 공개할 경우 혼란이 발생할 수 있습니다. 따라서 이번에는 지표의 세부 수치가 아닌 비율로 환산한 데이터만 공개하기로 결정했습니다. 알고리즘을 도입한 첫 주인 25주 차의 지표 수치를 100%로 보고 환산한 비교 데이터만으로도 지표 변화 추세를 보기에는 충분할 것입니다. 모든 수치는 주 단위 일평균 값입니다.
[그래프 1] 다음모바일메인(뉴스, 연예, 스포츠) 인당 평균 체류 시간
인당 평균 체류 시간은 사용자의 서비스 사용도를 볼 수 있는 지표입니다. 25주 100% 대비 47주의 평균 체류시간은 118.8%로 18.8% 상승하였습니다. 전반적으로 우상향 하는 모습을 보이며 다음 사용자의 서비스 체류 시간이 늘고 있음을 알 수 있습니다.
[그래프 2] 다음모바일메인(뉴스, 연예, 스포츠) 페이지뷰(PV)당 평균 체류 시간
페이지뷰당 평균 체류 시간의 경우 알고리즘을 통해 추천한 콘텐츠를 사용자가 얼마나 만족하며 소비하고 있는지를 확인할 수 있는 지표입니다. 25주 100% 대비 47주의 콘텐츠 당 평균 체류 시간은 8.1% 상승한 108.1%였습니다. 그래프를 보면 추천 알고리즘을 본격적으로 적용한 36주 이후 체류 시간이 평균 10%대 이상 상승했다가, 44주 차 이후 수치가 소폭 하락한 것을 알 수 있습니다. 그럼에도 전반적으로 체류 시간이 우상향 하며 알고리즘 적용 이후 사용자의 콘텐츠 소비 시간이 증가했습니다.
[그래프 3] 다음모바일메인(뉴스, 연예, 스포츠) 전체 페이지뷰(PV)
다음모바일메인 페이지뷰는 주에 따라 등락이 있는 편이었습니다. 그럼에도 25주 대비 47주 차 페이지뷰는 19.7% 상승했습니다. 26주 차와 40주 차를 제외한 모든 주차에서 알고리즘 도입 첫 주 대비 페이지뷰 상승이 있었습니다.
[그래프 4] 다음모바일메인(뉴스, 연예, 스포츠) 인당 페이지뷰(PV)
다음모바일메인에서 사용자 1인당 본 페이지의 수 역시 우상향 하는 모습을 보였습니다. 25주 대비 47주 차에는 인당 페이지뷰가 10%나 상승했습니다. 서비스 전체 페이지뷰와 인당 페이지뷰 모두 열독률을 적용한 알고리즘 도입 이후 상승했습니다. 물론 모든 서비스 지표의 상승이 단순히 새로운 알고리즘 도입 때문이라고 할 수는 없습니다. 시즌 이슈나 마케팅 활동 등 다양한 변수가 서비스에 영향을 미치기 때문입니다. 하지만 5개월간의 추세에서 전반적인 지표 상승이 있었고 이러한 변화를 이끄는데 가장 큰 영향을 준 것은 추천 엔진의 변화라고 볼 수 있을 것입니다.
알고리즘에 대한 카카오의 사회적 소통은 계속됩니다.
카카오에서는 사회적 소통을 하고 이용자와의 신뢰관계를 만들어가기 위해 주요 알고리즘에 대한 설명을 지속해왔습니다. 논문 게재, 학술 대회 참여, AI리포트 및 관련 아티클 발행 등을 통해서였습니다. 최종 단계에서 서비스를 이용하는 사용자부터, 비즈니스에 참여하는 다양한 파트너까지 카카오의 기술을 더 잘 이해하고 활용하기를 바랐기 때문입니다.
카카오는 앞으로도 상황에 맞춰 알고리즘에 대한 설명을 지속해 나갈 계획입니다. 사용자와 투명하게 소통할 때 인공지능을 활용한 더 나은 미래를 만들어 나갈 수 있다고 믿습니다. 인공지능 기술을 통한 사람과 사람의 더 나은 연결을 만들어 갈 카카오와 계속 함께 해주시길 바랍니다.
*함께 읽으면 좋을 글들
카카오 추천 엔진 카카오I 루빅스의 역사가 궁금하다면 https://brunch.co.kr/@kakao-it/136
카카오의 또 다른 추천 엔진이 궁금하다면 https://brunch.co.kr/@kakao-it/72
카카오 알고리즘 윤리헌장이 궁금하다면 https://brunch.co.kr/@kakao-it/186
