넷플릭스의 [오프닝 건너뛰기] 버튼은 어떻게 만든 걸까
넷플릭스 파헤치기
이 글은 '20년 9월에 작성된 글입니다. 기존에 사용하던 블로그에서 가지고 왔습니다. :)
넷플릭스에서는 2018년 초부터 본편과 관계없는 구간을 건너뛸 수 있는 기능을 제공했습니다. 사용자의 빈지와칭을 최대화하기 위한 전략입니다. 넷플릭스에서 최대한 많은 시간을 보내게 하기 위해 사용자 경험을 말 그대로 정말 매끄럽게 만들었습니다.
출처 :Mollie Sivaram국내 IPTV에서도 건너뛰기 기능을 제공합니다. 대부분이 노동집약적인 결과물입니다. 그 가운데 저도 오프닝, 다음화 건너뛰기 버튼 운영 기획과 인력을 관리하며 든 생각이 있습니다.
"넷플릭스의 [오프닝 건너뛰기] 버튼은 어떻게 만든 걸까?"
넷플릭스가 잘 만든 AI 추천 시스템이 있다는 것은 아는데, 오프닝 건너뛰기도 AI로 작업했을까 궁금했습니다. 넷플릭스에서 공식 발표한 제작 방식이 없어 인터넷에 관련 자료를 검색해봤습니다.
제작 방식에 대한 예상을 보기 전에, 먼저 어떤 유형의 건너뛰기가 있는지부터 알아볼까요?
| 건너뛰기 버튼의 종류
1. 오프닝 건너뛰기 : 영상 맨 앞에 있는 오프닝뿐만 아니라 영상 중간에 있는 오프닝도 건너뛸 수 있습니다. 7초 동안 버튼이 노출되며, 버튼이나 화면을 건들지 않을 경우, 버튼은 사라집니다. 오프닝 구간 재생 중에 화면을 다시 터치할 경우 오프닝 건너뛰기 버튼이 다시 노출됩니다.
2. 줄거리 건너뛰기 : 지난 줄거리를 설명하는 내용을 건너뛸 경우, 버튼 명이 "오프닝 건너뛰기"가 아니라 "줄거리 건너뛰기"이다. 노출 정책은 오프닝 건너뛰기와 동일합니다.
3. 다음화 바로보기 : 5초가 지나면 바로 다음 콘텐츠로 넘어갑니다. 영화와 같은 단편 콘텐츠는 다음 화가 아니라 추천 콘텐츠가 자동 재생됩니다.
넷플릭스 건너뛰기 기능을 만든 방법에 대한 사람들의 의견을 정리해봤습니다.
| 블로거 Razeeb Mahmood의 의견
- 인간, 인간, 인간 : 사람들이 몇 천 시간을 들여서 수동으로 타임스탬프를 찍었을 것이다.
- 오디오 태깅 : 가장 가능성이 있는 방법이다. 드라마 프렌즈를 예로 들자면, 앞부분에 등장하는 음악이 모두 동일하다. 컴퓨터 비전을 적용해 도입부를 인식하는 것보다 정확한 방법일 수 있다.
- 머신 러닝 : 에피소드마다 동일하게 나타나는 장면의 시각적 규칙을 인식해서 도입부를 알아냈을 것이다.
- 사용자 피드백 : 사용자가 스킵하는 구간 정보를 추적해서 도입부를 알아냈을 것이다.
| 블로거 Eugene Leychenko의 의견
- 인간의 태깅 : 이 블로거는 인간이 모두 태깅하는 것이라고 생각하지 않습니다.
- 머신 러닝 : 넷플릭스는 기술 집약적인 기업이다. 주마다 10억 시간의 시청 시간이 누적되는데, 그때마다 사람들의 스킵 이력이 누적된다. 이 데이터의 트렌드를 활용해 도입부가 시작되고 끝나는 구간을 알아냈을 것이다.
- 비전 인식, 오디오 인식의 방법도 있다.
| 레딧 커뮤니티 답변
"Intro skip 기능은 인간이 찍은 걸까 아님 자동으로 만든 걸까?"
- 답변 1 : 수동 입력임. 같은 시리즈에서도 인트로 구간이 조금씩 달라.
- 답변 2 : 수동임. 제목이랑 캡션 정보 넣는 사람들도 있는데 그 사람들이 찍었을 것 같음.
- 답변 3: 자동화했을 걸? 소리 인식했음. 유튜브도 저작권 알아낼 때 음원 인식하잖아.
| 넷플릭스 건너뛰기 기능 공식 설명
보다가 앞부분 건너뛰기가 틀린 구간이 있으면 아래 링크에 리포트하라고 합니다. AI가 부정확해서인지 사람이 오류를 만든 것인지에 관한 내용은 담기지 않았습니다.
| 그래서 뭐가 답일까?
넷플릭스의 건너뛰기 기능은 수동 작업 결과물일 확률이 높습니다.
출처 : Wonderlane
이유 1: 넷플릭스는 인간 지능의 활용에 익숙합니다.
넷플릭스의 추천 시스템은 방대한 데이터를 기반으로 합니다. 넷플릭스는 추천 시스템을 고도화하기 위해 마이크로 장르 태그를 1,000개 이상 만들었습니다. 최적의 태그를 생성하기 위해선 콘텐츠 전문가, 즉 사람이 필요합니다. 콘텐츠가 입수되면 약 30명의 콘텐츠 분석 전문가가 감상 후 카테고리 태그와 메타 데이터 생성합니다.
이렇게 넷플릭스는 콘텐츠 데이터 생성을 위한 수동 작업에 익숙합니다. 따라서 도입부, 다음 화 타임 태그를 다는 것도 마찬가지로 수동 작업 인력을 활용했을 확률이 높습니다.
영어권 사람들은 데이터 클렌징과 같은 노동을 인도에 맡깁니다. (인간이 AI를 위한 데이터 처리하는 작업과 관련된, Amazon Mechanical Turk 등과 관련된 논문을 읽으면 알 수 있죠.) 작업 방법이 이렇게 안 나오는 이유는 인도에 있는 노동자를 썼기 때문이 아닐까 싶습니다.
출처 : Kevin Ku이유 2: AI는 100% 정확하지 않습니다.
Seamless 한 서비스에 목숨 거는 넷플릭스가 AI의 결과만 신뢰하고 서비스를 내보냈을 리가 없습니다. 따라서 자동이 많이 적용되어도 80% 수준으로 적용되었을 것입니다. 검수는 무조건 사람이 해서 내보내야 합니다.
프렌즈나 하우스 오브 카드처럼 도입부가 동일하고 음악이 똑같은 콘텐츠는 머신 러닝으로 구간을 파악할 필요도 없습니다. Rule base로 도입부를 인식할 수 있습니다.
그러나 모든 콘텐츠에 일관된 규칙이 적용되지 않습니다. 다양한 유형의 콘텐츠가 있기 때문에 모든 콘텐츠를 자동화해서 인식하는 것은 불가능합니다. 자동으로 인식한다고 해도 인간이 검수한 후 내보내지 않으면 서비스가 불편하게 느껴질 수 있습니다.
출처 : Moritz Mentges
이유 3: 넷플릭스는 전 세계 콘텐츠를 다룹니다.
나라별로 콘텐츠의 도입부와 다음 화 구간을 지정하는 트렌드가 다릅니다.
예를 들어 우리나라 드라마는 끝 부분에 다음 회차 예고와 제작자 이름이 나오는 크레딧 화면이 동시에 나옵니다. 미국 콘텐츠로 학습시킨 AI는 그런 구간을 Ending 구간으로 지정해야 하는지 아닌지 알기 어렵습니다.
이유 4: 넷플릭스가 자랑하지 않습니다.
건너뛰기와 관련된 정보를 찾기 어려운 것은 넷플릭스에서 관련된 정보를 별로 보여주고 싶지 않기 때문일 것입니다. 그들이 추천 기술을 자랑하는 모습과 상반됩니다. 만약 넷플릭스가 건너뛰기 구간을 완벽하게 인식할 수 있는 기술이 있다면 자랑하지 않았을까요?
뭐 어떻게 만들었든 간에, 어쨌든 넷플릭스는 1년 반 동안 건너뛰기를 적용해왔습니다. 이제 거의 모든 시리즈 콘텐츠에 건너뛰기 기술이 적용되어 있고, 넷플릭스를 따라 하는 타 회사들 또한 동일한 기능을 적용하고 있습니다.
이제 하나의 콘텐츠를 끝낸 지 5초 안에 화면을 닫지 않으면 다음 콘텐츠가 자동으로 재생됩니다. (드라마 같은 시리즈 콘텐츠가 아니더라도!) 멍 때리고 가만히 있으면 넷플릭스에서 빠져나올 수가 없습니다. 정신을 차리지 않으면 영원히 화면을 닫을 수 없습니다.
사용자가 플랫폼에 오랜 시간 머무르게 하는 것이 목적입니다. 콘텐츠 기업들은 이어보기 적용을 확대해 그 목적을 달성해가고 있습니다. 하지만 사용자가 너무 오랜 시간을 해당 플랫폼에서 보낸다면 그 서비스가 과연 좋은 서비스라고 할 수 있을까요? 서비스기획자로서 사용자에게 좋은 서비스란 무엇인지 고민하게 되는 시점입니다. 편리한 기능만이 능사가 아니라는 생각으로요.
('21.01) 넷플릭스 건너뛰기 기능 제작 방법에 관한 추가 설명입니다. 만약 이 글이 납득하기 어려웠다면 아래 글을 참고해보세요.
