다음 첫 화면 30개 기사에 숨은 비밀
카카오 AI 뉴스 맞춤형 추천 시스템 '루빅스' TF팀
조선비즈 인터뷰 시리즈 '미디어 혁신가'(2016~ )를 브런치에 연재합니다. 취재 후기와 (기사에 못 담은) 저의 생각을 덧붙였습니다. 새로 추가한 내용은 파랑 글씨로 적었습니다.
인터뷰 출고 당일 임지훈 카카오 CEO가 페이스북 계정에 링크를 공유했다. 기사에 소개된 '루빅스'(RUBICS)는 카카오가 2015년 6월 선보인 인공지능 뉴스 추천 알고리즘이다. 국내 최초.
"카카오에는 추천기술을 연구개발하는 다양한 팀들이 있습니다. 많은 서비스들에 적용되고 있고, 지속 확대될 예정입니다. AI 연구개발자분들 오셔서 마음껏 연구개발하세요! '데이터 놀이터'를 만들어보려고 동료들이 많이 노력하고 있습니다. :)"
루빅스, 토로스, 디스코…. 국내 양대 포털인 카카오와 네이버는 경쟁적으로 AI 뉴스 서비스를 선보이고 있다. 카카오가 2015년 6월 국내 최초 선보인 루빅스의 개발과 기획을 맡은 TF팀을 만났다.
2017년 7월 인터뷰가 나오고 지금까지 다음뉴스의 '랭킹' 섹션에는 코너가 더 추가됐다. 국내외 AI 뉴스 추천 서비스의 수준은 갓 걸음마를 뗀 정도라는 게 한 챗봇 개발자의 말이다.
2017.07.31
카카오 AI 뉴스 맞춤형 추천 시스템 '루빅스' TF팀
"다음뉴스 노출 기사 3.5배 늘어"… '꼼꼼히 본 뉴스' 개설해 열독률 파악
왼쪽부터 문성원 루빅스 PM, 성인재 루빅스 TF장. 카카오는 인공지능(AI) 뉴스 추천 알고리즘인 '루빅스'를 2015년 6월 다음뉴스에 적용한 데 이어 최근 '꼼꼼히 본 뉴스'미국 마케팅 전문연구기관 마케팅프로프스(MarketingProfs)에 따르면 매일 생산되는 온라인 기사는 2016년 기준 200만개가 넘는다. 저 많은 기사 중 내 입맛에 맞는 것만 고를 수 없을까. 뉴스 소비자라면 한 번쯤 해봤을 고민이다. 내 취향을 고려한 제때 봐야 할 뉴스를 골라주는 영리한 앱이 있다면? 사람이 아닌 인공지능이 실시간 편집하는 뉴스앱 말이다.
2015년 6월 카카오가 국내 최초 인공지능 뉴스 추천 알고리즘 '루빅스'(RUBICS·Real-time User Behavior Interactive Content recommender System)를 다음 모바일 뉴스에 적용한 지 2년이 지난 2017년 7월, '열심히 읽은 기사'를 선별한 '꼼꼼히 본 뉴스'가 다음뉴스에 새로 적용됐다. 루빅스는 이용자의 뉴스 소비 패턴에 따라 뉴스의 노출과 배열을 효율적으로 결정하는 시스템이다.
앞서 올해 3월에는 루빅스의 초기 알고리즘 개발 과정과 주요 내용을 담은 학술 논문이 발표됐다. 자사 주요 서비스의 알고리즘을 공개한 사례는 카카오가 국내 인터넷 기업 중 처음이다.
루빅스는 계속 진화한다. 축적된 데이터를 스스로 학습한다. 루빅스가 모바일 앱에 적용된 이후 뉴스 이용량이 늘고 제공되는 뉴스가 다양해졌다. 다음뉴스의 주간 이용자 수는 2015년 11월 1910만명에서 2016년 11월 2710만명으로 늘었다. 다음 첫 화면의 뉴스 개수는 평균 3.5배 늘었다. IT 과학 분야는 3.3배, 국제는 5.1배, 문화 생활은 5.5배를 기록했다.
카카오는 올해 5월 AI 추천 플랫폼 '토로스(TOROS)'를 공개하고 맞춤형 추천 시스템을 강화했다. 루빅스가 뉴스와 콘텐츠를 추천하는 시스템이라면, 토로스는 2014년 다음tv팟 영상을 시작으로 브런치와 카카오페이지에 주로 적용되는 시스템이다.
24일 카카오 판교 사옥에서 루빅스 시스템을 이끄는 성인재 루빅스 TF장, 문성원 루빅스 PM, 윤승재 커뮤니케이션팀 매니저를 만났다.
-AI 뉴스 추천 시스템을 기획하면서 주로 고려한 점은.
문: "루빅스가 적용되기 전 다음뉴스는 모든 사용자에게 20개의 같은 기사를 제공했다. 당시 제약 때문에 '버려지는' 기사가 아까웠다. 기획 초기 단계부터 모든 이용자가 같은 기사를 보는 걸 벗어나려 했다. 2014년 5월 다음과 카카오가 합병되고 루빅스 개발을 진지하게 논의했다."
두 이용자의 다음뉴스 모바일 첫 화면을 비교해보면 다른 기사가 배치된 걸 알 수 있다. 루빅스가 사용자의 취향을 파악해 다른 콘텐츠를 추천한다.-루빅스 TF팀은 어떻게 구성돼 있나.
문성원 루빅스 PM(이하 문): "뉴스 에디터, 응용분석엔지니어, 루빅스 PM으로 이뤄져 있다. 나는 루빅스 개발 초기부터 서비스 기획을 맡고 있다. 기술 측면을 제외한 모든 부분을 챙기고 있다. 이전에 다음뉴스의 편집자로 일했다."
성인재 루빅스 TF장(이하 성): "루빅스의 뉴스 추천 알고리즘을 개발한다. 이용자 행동 데이터를 분석하고 새로운 뉴스 추천 방식을 적용한 알고리즘을 만든다. 알고리즘 모델링이라고 부른다."
-최근 다음에 '꼼꼼히 본 뉴스' 섹션을 개설했다.
문: "루빅스를 개발하면서 뉴스 클릭 수 등 '양적 성장'을 예상했다. 다만 시작 단계부터 질적 성장에 대한 고민이 있었다. 기존의 알고리즘에서는 이용자가 어떤 콘텐츠를 봤는가만 알 수 있었다. 하지만 얼마나 '열심히' 봤는지는 알 수 없었다.
이걸 어떻게 해결할까 고민했고 최근 '꼼꼼히 본 뉴스' 섹션을 개설하면서 문제를 일부 해결했다. 측정 기준은 체류시간이지만, 단순히 해당 페이지에 머문 시간이 아닌 본문을 읽은 시간이다."
-꼼꼼히 본 뉴스의 기준이 되는 '열독률 지수'를 설명해달라.
성: "본문 내 이미지의 개수와 글의 길이를 보면 평균 체류시간이 나온다. 그런데 가령 그림이 2개, 본문이 300자인 기사의 평균 체류시간이 30초인데, 같은 조건의 특정 기사는 60초가 나왔다. 그렇다면 두 번째 기사의 본문 집중도가 높은 것. 그걸 지수화한 게 카카오가 자체 개발한 '열독률 지수'다. 글의 길이뿐 아니라 본문 내 이미지의 개수, 영상의 길이도 고려한다."
문: "열독률 지수를 도입하고 본문 집중도가 높은 기사를 발굴하고 낚시성 기사를 걸러내는 효과가 있다."
-열독률 지수가 높은 기사의 사례를 들어달라. 공통된 특징이 있다면?
윤승재 커뮤니케이션팀 매니저(이하 윤): "연재, 단독, 기획 기사, 주요 이슈에 대한 심층 인터뷰가 꼼꼼히 본 뉴스 상위에 걸리는 경우가 많다."
다음뉴스에 2017년 7월 적용된 '꼼꼼히 본 뉴스' 섹션. '본문 집중도'가 높은 기사를 보여준다는 게 카카오의 설명.-루빅스를 다음뉴스에 적용한 지 2년이 넘었다. 성과를 자체 평가하자면.
성: "2015년 6월 다음뉴스 모바일 서비스를 시작으로 연예, 스포츠, 콘텐츠가 포함된 미디어랩, 홈, 쿠킹, 스타일, 자동차+, 여행 맛집, 쇼핑, 1boon 등 섹션과 카카오톡 채널에도 루빅스가 적용됐다. 다음 TV탭에도 적용 될 예정이다."
윤: "올해 4월 다음뉴스를 개편하면서 PC 영역에도 루빅스가 100% 적용됐다. 모바일 화면에는 루빅스 초기 단계부터 전면 도입했다."
문: "가장 큰 성과는 루빅스 시스템이 자연스레 정착한 것. 또 이용자 반응을 다채롭게 알 수 있게 되었고 사용자가 뭘 원하는지 알게 됐다."
-뉴스 소비자의 수요를 세분화하게 됐다는 걸까.
윤: "스포츠를 예로 들면 많은 종목에 골고루 관심을 갖기 보다는 대개 야구, 해외축구 등 특정 종목의 기사를 보는 경우가 많다. 루빅스를 적용하기 전에는 여러 종목을 추천했던 반면, 이젠 사용자의 취향을 고려한 종목별 큐레이션이 가능하다.
뉴스 소비 패턴을 분석한 결과, 읽은 뉴스를 다시 클릭하는 이용자는 극히 적다. 이미 접한 기사를 추천 화면에서 제외하고 새로운 뉴스로 대체함으로써 다양한 뉴스를 제공할 수 있었다. 루빅스에는 특정 이용자에게 여러 번 추천된 뉴스는 사용자의 클릭 여부와 상관없이 '패널티'를 부여하는 알고리즘이 내재돼 있다. 이건 뉴스 서비스를 자주 사용하는 이용자에게만 적용된다."
-내가 어떤 뉴스를 좋아하는지 루빅스가 어떻게 알 수 있나?
성: "루빅스의 추천 방식에는 사용자 그룹 맞춤과 개인 맞춤 두 가지가 있다. 사용자 그룹 맞춤은 같은 성별, 연령대의 이용자 집단에서 소비된 뉴스의 클릭률을 측정, 콘텐츠 소비 성향을 분석한 데이터를 반영한다. 가령 20대 여성은 뷰티 및 취업, 30대 여성은 육아, 40대 여성은 교육, 50대 여성은 건강 뉴스를 많이 소비한다.
개인 맞춤 서비스에는 루빅스뿐 아니라 다양한 알고리즘이 적용된다. 협업 필터링이 대표적이다."
루빅스에는 카카오에서 자체 개발한 맞춤형 멀티암드밴딧(Multi-Armed Bandit·MAB)이라는 알고리즘이 적용됐다. 카카오 정책지원팀이 지난 5월 공지한 글 '카카오 뉴스 추천 AI 알고리듬 '루빅스'의 비밀'의 본문 일부를 발췌해 소개한다.
"멀티암드밴딧은 카지노 슬롯머신에 비유된다. 도박장에서 승률을 높이는 방법 중 하나는 돈을 딸 가능성이 높은 기계에서 베팅하는 것. 뉴스에 이 구조를 적용하면, MAB로 이용자들이 선택할 가능성이 높은 뉴스가 무엇인지를 파악할 수 있다. 본래 MAB는 뉴스라는 특성을 온전히 소화하기에는 한계가 있어서 카카오는 MAB를 뉴스 서비스에 맞게 개량했다."
-알고리즘이 경쟁하는 구조인 걸로 알고 있다.
문: "사용자 반응을 보고 새로운 알고리즘을 개발해 적용한다. 그렇게 보면 알고리즘간의 경쟁인 것. 열독률 지수에도 그런 테스트를 계속 한다."
-개인 추천 서비스가 대세다. 네이버가 지난 5월 공개한 AI 기반 콘텐츠 큐레이션 서비스 '디스코'는 취향이 비슷한 이용자가 좋아하는 글을 실시간으로 보여줘 호응을 얻고 있다.
문: "다음뉴스와 디스코는 전혀 다른 서비스다. 추천의 목적도 다르다. 다음뉴스는 제휴 언론사의 기사가 중심이고, 디스코는 이용자 기반 콘텐츠 피드 추천이 주를 이룬다. 어떤 서비스냐에 따라 추천 시스템의 방향성도 전혀 다를 것이다. "
-AI 뉴스 추천 시스템을 적용한 후 편집자의 역할은 어떻게 바뀌었나.
문: "다음뉴스 메인 화면의 20개 기사를 일일이 교체하던 편집자의 역할이 루빅스 적용 후 뉴스를 큰 틀에서 관장하는 쪽으로 바뀌었다. 업무가 오히려 늘었다. 지금은 루빅스에서 작동하는 모든 콘텐츠를 모니터링해야 한다. 특집 페이지 기획과 알고리즘 향상에 공을 들인다."
-루빅스 관련 논문을 추가로 낼 계획은?
성: "열독률 지수를 적용한 루빅스를 주제로 낼 계획이다. 논문 발간에 앞서 카카오에서 매달 내는 AI 리포트 9월호에 해당 내용이 실릴 예정이다."
-루빅스의 발전 방향을 어떻게 기대하나.
성: "사용자 특성에 최적화된 추천 결과를 제공하고자 한다. 기사 실시간 업데이트가 중요할 수도 있고 (방문이 상대적으로 적은 이용자를 위해) 주요 콘텐츠를 보여주는 게 중요할 수도 있다. 상황에 맞게 추천하는 것. 상황별 사회 이슈를 알려주는 사용자 맞춤 추천과 개인의 관심사를 세세히 반영한 두 특성이 조화를 이룬 추천을 발전시키고자 한다."
원문보기:
http://biz.chosun.com/site/data/html_dir/2017/07/31/2017073100012.html
