카카오 뉴스 추천 AI 알고리듬 '루빅스'의 비밀
카카오 루빅스의 알고리듬 논문, 국내 학술 등재지에 게재
개인별 맞춤 뉴스 서비스는 어떤 알고리듬으로 작동할까요(*알고리즘과 알고리듬 모두 표준어입니다).
카카오는 2015년 6월 이후 맞춤형 뉴스 서비스 루빅스 알고리듬을 채택했습니다. 에디터들이 '좋은 뉴스'를 골라서 편집하던 시대를 지나, 각 이용자 취향에 맞게 맞춤형 뉴스를 자동으로 제공하는 국내 최초의 시도였습니다. 뉴스 추천 과정은 카카오가 고안한 알고리듬에 의해 이뤄집니다. "인간처럼 행동하거나, 그리고 이성적으로 행동하는 것"(Russell & Norvig, 1995, 5p)을 인공지능의 정의라고 한다면, 일정한 과정에서 인간의 개입없이 머신러닝 기술을 통해 스스로 뉴스 추천을 진행하는 루빅스는 인공지능으로 불릴 수 있습니다.
오랫동안 준비해온 알고리즘의 개발 과정과 작동 방식에 대해 관심도 많았는데, 드디어 공개하게 됐습니다. 카카오 루빅스의 초기 알고리듬 개발 과정과 주요 내용을 담은 학술 논문이 학술진흥재단 등재지인 '사이버커뮤니케이션학보'의 34권 1호(2017년 3월)에 게재되어, 대중에 공개됐습니다.
※용어 설명: 루빅스는 실시간 이용자 반응형 뉴스 추천 서비스입니다. 루빅 (RUBICS)라는 이름은 영어로는 'Real-time User Behavior Interactive Content Recommender System'의 주요한 단어의 머릿글자를 따서 만든 말입니다.
인공지능(Artificial intelligence, AI) 기술을 활용한 서비스 분야가 확대됨에 따라, AI 알고리듬 구조에 대한 사회적, 학문적 관심도 늘어나고 있습니다. 국내 인터넷 기업이 자사의 주요 서비스 알고리듬을 외부에 공개하는 사례는 이제껏 없었습니다. 이같은 공개는 기업 입장에서는 실험적인 도전이었습니다. 논문 작업의 진행을 결정한 후, 관련된 팀들의 카카오 직원들은 작년 5월부터 30여 차례의 정기 회의를 진행했습니다. 수시로 벌어진 임시 회의를 합치면, 논문 작업에 참여한 필자들이 머리를 맞댄 횟수는 100회에 이를 겁니다. 공학적인 이야기이기에, 사회과학에서도 쉽게 이해할 수 있게 쓰려 노력했고, 가능한 한 많이 그리고 상세하게 기술하려 애썼습니다. 그럼에도 분명 부족한 부분이 있음을 알고 있습니다. 첫 술에 배부르게 했으면 좋으련만, 여러 한계 상 외부의 기대를 온전히 충족하지 못한 점은 저희 역시도 아쉽게 생각하고 있습니다. 카카오는 이 논문이 미디어 산업 그리고 학계에서의 추천 알고리듬 발전을 위한 건전한 논의의 장이 확대되는 데 기여하길 바랍니다. 아래의 주요 목차는 아래와 같습니다.
1. 서론
2. 논의 배경
1) 기계학습 기반의 추천 시스템
2) 뉴스 추천 알고리듬
3. 루빅스 알고리듬에 대한 설명
1) 도입 배경과 루빅스의 도입 목표
2) 멀디암드밴딧 알고리듬
3) 맞춤형 멀티암드밴딧 알고리듬
4) 루빅스 평가 방법
4. 루빅스 도입에 따른 효과
5. 결론: 기계학습 기반의 뉴스 추천 구조의 적용 전망 및 함의
루빅스 개발자들이 루빅스를 통해 풀고자 했던 핵심 문제는 이용자 정보가 없는 상태에서의 효율적인 추천 시스템의 구축이었습니다. 일반적인 정보 서비스와 달리, 뉴스를 소비한 이용자 정보의 확보는 녹록지 않은 일입니다. 개인화의 대표적인 추천 방식인 협업 필터링과 내용 기반 필터링만으로는 개인화된 뉴스 추천이 어렵습니다. 대안으로 루빅스 개발자들이 택한 알고리듬은 멀티암드밴딧(Multi armed bandit, MAB) 알고리듬이었습니다. 이 알고리듬의 특성은 슬롯머신에 비유되곤 합니다. 도박장에서 돈을 딸 확률을 높이는 방법 중 하나는 돈을 딸 가능성이 높은 기계에서 벳팅을 하는 것입니다.
<그림 1> MAB=돈 딸 확률이 높은 슬롯머신 찾기카카오는 뉴스에 이 구조를 적용하면, MAB로 이용자들이 읽기 위해 선택할 가능성이 높은 뉴스가 무엇인지를 알고리듬으로 파악하고자 했습니다. 그러나 본래 MAB 역시 뉴스라는 특성을 온전히 소화하기에는 한계가 있어서, 카카오는 MAB를 뉴스 서비스에 맞게 개량했습니다. 논문에서는 MAB를 뉴스에 적합한 맞춤형 MAB로 발전시키는 과정을 담고 있습니다. 이 논문에서 소개된 카카오의 주요 노력은 다음과 같습니다.
시간에 따른 뉴스 선호도 감소 현상에 대한 대응: 뉴스는 게지 시점을 기준으로, 시간이 흐를수록 선택의 확률이 떨어집니다. 이를 고려하여, 루빅스 개발자들은 최신의 뉴스에 가중치를 부여했습니다.
뉴스 게시 위치가 뉴스 선택에 미치는 영향: 모바일 앱에서 뉴스를 제공하는 공간은 제한적입니다. 이용자로부터 뉴스가 선택될 확률은 뉴스가 어떤 위치에 게시되느냐에 따라 달라질 수밖에 없습니다. 루빅스 개발자들은 뉴스가 놓일 수 있는 모든 공간을 대상으로 뉴스가 선택될 확률을 평균하는 방식으로 위치 편향 문제를 해소했습니다.
동일한 뉴스를 두 번은 보지 않은 뉴스 이용 행동 방식에 대한 대응: 선택된 뉴스에 대한 가중치를 떨어뜨려, 상대적으로 새로운 뉴스가 이용자에게 제공될 확률을 높였습니다.
위에 소개된 세 가지는 루빅스 알고리듬의 일부 특성입니다. 이밖에도 여러 가지 알고리듬이 종합되며, 오늘날의 루빅스를 이루고 있습니다. 루빅스는 축적된 데이터를 스스로 학습하여 보다 정교화 된 추천 체계로 진화합니다. 기계가 사람처럼 학습을 하는 체계인 것입니다. 루빅스는 모바일 앱에 적용된 이후. 뉴스 이용량을 늘렸을 뿐만 아니라, 제공되는 뉴스의 다양성과 확대시켰습니다.
루빅스의 다음 모바일 뉴스 이용에 대한 기여(위 숫자는 주간 이용자 수)
루빅스 도입 후, 뉴스의 다양성 확대논문의 원본 pdf 파일을 내려받고 싶으신 분은 아래 버튼을 눌러 주세요.
박승택, 성인재, 서상원, 황지수, 노지성, 김대원 (2017). 기계학습 기반의 뉴스 추천 서비스 구조와 그 효과에 대한 고찰. 사이버커뮤니케이션학보, 34(1), 5-48.
보다 구체적으로 논문의 내용에 대한 문의는 본 논문의 교신저자인 카카오 커뮤니케이션전략파트의 김대원 박사(ive.kim@kakaocorp.com)에게 해주세요.
*참고 문헌 및 참고 이미지
Russell, S., Norvig, P. (1995). Artificial Intelligence: A modern approach. NJ: Prentice-Hall, Egnlewood Cliffs.
<그림 1>의 출처: http://research.microsoft.com/en-us/projects/bandits/MAB-2.jpg
알고리즘의 고도화 과정에서 추가된 열독률에 대한 정보가 궁금하시다면, 다음 글을 보세요. <열독률 적용한 카카오 추천 알고리즘, 그 결과는?> https://brunch.co.kr/@kakao-it/212
