듀오링고가 다시 한번 성장을 만들어낸 방법들

Lenny NewsLetter

전 세계 50만 명 이상이 구독하고 Substack에서 비즈니스 뉴스레터 1위인 Lenny 뉴스레터 중 인기글을 번역/요약한 글입니다. 이 글은 5억 명이 사용하고 약 12조의 가치를 가지고 있는 듀오링고가 어떻게 성장을 가속화했는지에 대한 글이며, 원문은 여기에서 보실 수 있습니다. 

---

몇 달 전 작은 이벤트에 참석했는데, Jorge Mazal (전 듀오링고의 CPO)이 듀오링고가 어떻게 다시 한번 성장했는지에 대한 이야기를 들려주었습니다. 저는 완전히 매료되었습니다. 이미 많은 유저를 보유하고 있던 듀오링고가, 제품 개선을 통해 5배의 성장을 이룬 성장 스토리를 이렇게 실행 가능한 세부적 내용까지 설명한 것은 처음이었습니다. 이미 많은 제품들이 듀오링고에서 영감을 얻고 있으며, 이 이야기를 통해 더욱더 많은 제품들이 영감을 얻기를 기대합니다. 

Jorge를 팔로우하고 LinkedIn과 X(Twitter)에서 자세한 내용을 확인하세요.

저는 2017년 말에 제품 책임자로 듀오링고에 합류했습니다. 듀오링고는 이미 수억 명의 사용자를 보유한 세계에서 가장 많이 다운로드된 교육 앱이었으며, "세계 최고의 교육을 개발하여 보편적으로 이용할 수 있도록 한다"는 사명을 완수하고 있었습니다. 하지만 사용자 증가세는 둔화되고 있었습니다. 2018년 중반까지 일일 활성 사용자 수(DAU)는 전년 대비 한 자릿수 증가율에 그쳤는데, 이는 과거 폭발적인 성장세를 고려할 때 큰 문제였으며, 빠른 수익 창출 성장을 기대하는 투자자들이 있는 스타트업으로서도 문제였습니다.

이 글에서는 리더보드 출시, 푸시 알림에 대한 집중, 연속(Strike) 기능 최적화 등 초기에 겪었던 몇 가지 실패와 성장세로 돌아서는 데 도움이 된 첫 번째 큰 성공을 다뤄보겠습니다. 이러한 노력과 제품 및 마케팅 부서의 다른 여러 노력이 더해져 4년간 DAU가 4.5배 성장하는 데 도움이 되었습니다. 강력한 유기적 사용자 성장 덕분에 듀오링고는 2021년 IPO를 향해 힘차게 나아갈 수 있었습니다.

이 글은 그 여정에 대해 심층적으로 살펴본 글입니다. 이 글을 공유함으로써 다른 사람들이 각자의 성장 돌파구를 더 빨리 찾는 데 도움이 되기를 바랍니다.

1단계: 게임화 확대                                                      

성장을 재점화하기 위한 첫 번째 시도는 리텐션 개선, 즉, 이탈률 문제를 해결하는 데 중점을 두었습니다. 신규 사용자 확보보다 리텐션 개선에 우선순위를 둔 이유는 신규 사용자 확보가 모두 유기적으로 이루어졌고, 당시에는 이를 강화할 수 있는 뚜렷한 수단이 없었기 때문입니다. 또한 게임화를 통해 리텐션을 개선할 수 있을 것이라는 기대도 있었습니다. 이 접근법이 옳다고 생각한 데에는 크게 두 가지 이유가 있었습니다. 첫째, 듀오링고는 이미 홈 화면의 진행률 시스템, 연속기능(Strike), 업적 시스템 등 여러 가지 게임화 메커니즘을 성공적으로 구현한 경험이 있었습니다. 둘째, 당시 최고의 디지털 게임들은 우리 제품보다 훨씬 높은 리텐션율을 보였는데, 저는 이를 게임화의 영향력이 아직 한계에 도달하지 않았다는 증거로 받아들였습니다.

듀오링고의 게임화된 홈 및 업적 페이지

수석 디자이너와 공동 제작한 짧은 프레젠테이션을 통해 나머지 경영진으로부터 충분한 동의를 얻어 새로운 팀인 게이미피케이션 팀을 만들 수 있었습니다. 이 팀은 엔지니어링 매니저, 엔지니어, 디자이너, PM, 그리고 저로 구성되었습니다.

하지만 한 가지 작은 문제가 있었습니다. 어떤 점진적 게임화 메커니즘이 듀오링고에 적합한지 전혀 몰랐습니다. 당시 저희 팀은 가든스케이프라는 게임(애니팡처럼 3개 맞추면 터지는 매치 3 퍼즐)에 푹 빠져 있었습니다. 이 모바일 게임이 저희의 첫 번째 영감이 되었습니다.

가든스케이프 매치 3 퍼즐 레벨

가든스케이프의 다양한 게임 메커니즘을 살펴보면서 저희는 가든스케이프가 듀오링고보다 더 까다로워 보인다는 점과 몇 가지 유사점을 발견했습니다. 3분짜리 듀오링고 레슨은 가든스케이프의 3 매치 레벨과 비슷하게 느껴졌고, 듀오링고와 가든스케이프는 모두 진행률 표시줄을 사용하여 사용자가 세션을 완료하는 데 얼마나 가까워졌는지 시각적으로 피드백을 제공했습니다. 하지만 가든스케이프는 진행률 표시줄에 움직임 카운터를 함께 제공했는데, 듀오링고는 그렇지 않았습니다. 이동 횟수 카운터는 사용자가 레벨을 완료할 수 있는 횟수가 한정되어 있어 게임플레이에 희소성과 긴박감을 더했습니다. 저희는 카운터 메커니즘을 제품에 도입하기로 결정했습니다. 사용자에게 정답을 맞힐 수 있는 기회를 한정적으로 부여한 후 레슨을 다시 시작해야 했습니다.

저희 팀은 카운터를 추가하는 데 몇 달의 시간이 걸렸습니다. 업데이트가 출시되면서 저는 큰 성공을 기대하며 기다렸습니다. 하지만 우울하게도 그 모든 노력은 효과가 없었습니다. 리텐션에는 아무런 변화가 없었습니다. DAU도 증가하지 않았습니다. 사용자 피드백도 거의 받지 못했습니다. 허탈했습니다. 결과가 나온 후 저희는 금세 불협화음에 빠졌습니다. 일부는 아이디어를 계속 반복하길 원했고, 다른 일부는 방향을 전환하길 원했습니다. 팀은 거의 즉시(그리고 극적으로) 해체되었고 아이디어는 폐기되었습니다. 정말 끔찍한 일이었습니다. 이 실패의 한 가지 다행스러운 점은 회사 문화와 개인적인 리더십 스타일을 개선하는 방법에 대해 많은 것을 배웠다는 점입니다.

더 많은 게임화를 통해 성장에 다시 불을 붙이려던 첫 번째 시도는 결국 실패로 돌아갔습니다.

2단계: 추천기능                                                          

게임화 노력에 회의를 느낀 우리는 리텐션 개선에서 완전히 방향을 전환하여 신규 사용자 확보에 초점을 맞춘 새로운 제품 팀인 "확보" 팀을 구성했습니다. 당시 Uber는 사용자 확보에 성공하고 있었으며, 추천 프로그램 덕분에 크게 성장한 것으로 유명했습니다. 이에 영감을 받아 저희도 Uber와 유사한 추천 프로그램을 만들었습니다. 보상은 프리미엄 구독 서비스인 슈퍼 듀오링고(당시에는 듀오링고 플러스라고 불렀습니다)의 한 달 무료 이용권이었습니다. 저희에겐 꽤 괜찮은 제안이었죠!

저희는 이 기능을 구현하고 두 번째 시도가 더 성공적이기를 바랐습니다. 하지만 신규 사용자는 3% 증가에 그쳤습니다. 긍정적인 결과였지만 우리가 원하던 획기적인 성과는 아니었습니다. 그럼에도 불구하고 팀은 두 배로 노력하여 추천 프로그램을 반복적으로 실행하고 다른 베팅을 시도했지만 소용이 없었습니다. 팀이 계속 반복하는 동안 성장 문제를 해결하기 위해 다른 접근 방식을 찾아야 한다는 것이 분명해졌습니다.

재편성할 시간                                                             

불과 몇 달 만에 연이은 실패의 여파는 저에게 더 나은 제품 베팅을 위한 성찰의 시간이었습니다. 돌이켜 생각해 보니 가든스케이프의 카운터가 왜 우리 제품에 적합하지 않은지 명확해졌습니다. 가든스케이프를 플레이할 때는 역동적인 장애물을 피하고 승리할 수 있는 길을 찾아야 하기 때문에 모든 움직임이 전략적인 결정처럼 느껴집니다. 하지만 듀오링고 레슨을 완료하기 위해 전략적인 의사 결정이 필요한 것은 아니며, 대부분 질문에 대한 답을 알거나 모르기 때문입니다. 전략이 없었기 때문에 듀오링고의 움직임 카운터는 단순히 지루하고 귀찮은 성가신 요소에 불과했습니다. 듀오링고에 도입하기에는 잘못된 게임화 메커니즘이었습니다. 저는 가든스케이프와 듀오링고의 유사점에 너무 집중한 나머지 근본적인 차이점의 중요성을 고려하지 못했음을 깨달았습니다.

또한 추천 프로그램이 Uber와 같은 성공을 거두지 못한 이유를 이해하는 데 그리 오랜 시간이 걸리지 않았습니다. 승객이 차를 이용할 때마다 차량 요금을 지불하기 때문에 추천 제도는 Uber에 효과적입니다. 할인/무료 승차는 지속적인 인센티브입니다. 듀오링고의 경우 슈퍼 듀오링고 한 달 무료 이용권을 제공하여 사용자에게 인센티브를 제공하려고 했습니다. 하지만 가장 활발하게 활동하는 사용자들은 이미 슈퍼 듀오링고를 사용하고 있었고, 이미 요금제에 가입한 상태에서는 무료 한 달을 제공할 수 없었습니다. 이는 우수 사용자에게 의존해야 하는 저희 전략이 실제로는 우수 사용자를 배제한다는 것을 의미했습니다.

이 두 가지 상황 모두 다른 제품에서 성공적인 기능을 차용했지만 잘못된 방식으로 차용했습니다. 콘텍스트의 변화가 기능의 성공에 어떤 영향을 미칠 수 있는지 고려하지 않은 것이죠. 저는 이러한 시도를 통해 다른 제품에서 아이디어를 지능적으로 차용하는 방법에 대한 더 나은 이해가 필요하다는 것을 깨달았습니다. 이제 저는 기능을 채택할 때 스스로에게 묻습니다:

- 해당 제품에서 이 기능이 작동하는 이유는 무엇인가요? 

- 이 기능이 우리 상황에서 성공하거나 실패할 수 있는 이유, 즉 우리 서비스에서도 잘 될까요?      

- 이 기능을 우리 상황에 맞게 성공적으로 적용하려면 어떤 조정이 필요할까요?                                                                                

다시 말해, 도입할 때 더 나은 판단력을 발휘해야 했습니다. 이 부분만 좀 더 체계적으로 접근했더라면 어떤 게임화 메커니즘을 추구할지에 큰 차이를 만들 수 있었을 것입니다. 그리고 추천에만 집중하지 않았을 수도 있었을 것입니다. 저는 다음 시도가 더 체계적으로 이루어질 수 있도록 최선을 다했습니다. 데이터, 인사이트, 기본 원칙에 기반한 의사 결정을 더 잘 내려야 했습니다.

3단계: 데이터 및 모델 사용                                           

듀오링고는 데이터 수집, 특히 A/B 테스트를 지원하는 데 있어 항상 탁월한 역량을 발휘해 왔습니다. 하지만 인사이트 창출을 위해 데이터를 사용하는 데는 많은 노력을 기울이지 않았습니다. Zynga와 MyFitnessPal이 데이터를 어떻게 사용하는지 내부에서 지켜본 후, 저는 듀오링고의 데이터를 사용하여 북극성 지표를 찾고 필요한 돌파구를 찾을 수 있다고 생각했습니다.

Zynga와 MyFitnessPal에서 근무하면서 참여 수준별로 사용자를 세분화하고 모델링하는 방법에 대한 영감을 얻었습니다. Zynga는 사용자를 분류하고 다음 주간 리텐션 지표를 기준으로 리텐션을 측정했습니다:

- 현재 사용자 유지율(CURR): 지난 2주 동안 제품을 방문했던 사용자가 이번 주에 다시 방문할 확률입니다.  

- 신규 사용자 유지율(NURR): 지난주에 제품을 처음 사용한 사용자가 이번 주에 다시 돌아올 확률       

- 재활성화된 사용자 리텐션율(RURR): 지난주에 재활성화했던 사용자가 이번 주에 다시 돌아올 확률입니다.   

나중에 MyFitnessPal에서 근무할 때 Zynga의 리텐션 작업을 채택하고 확장한 것을 알게 되었습니다. 그들은 성장을 측정할 뿐만 아니라 미래 시나리오를 모델링하는 데에도 CURR, NURR, RURR을 사용했습니다. 또한 SURR도 추가했습니다:

- 부활한 사용자 리텐션율(SURR): 지난주에 (장기 휴면 상태에서) 부활한 사용자가 이번 주에 다시 돌아올 확률입니다.                

저는 듀오링고의 이러한 지표를 출발점으로 삼아 더 정교한 모델을 만들고, 그 모델을 사용하여 북극성 지표를 식별할 수 있을 것이라고 가설을 세웠습니다. 데이터 과학자 및 획득 팀의 엔지니어 관리자와 협력하여 아래 모델을 만들었습니다. Zynga 및 MyFitnessPal과 동일한 리텐션 비율을 사용했지만, 주별 보기에서 일별 보기로 조정하고 몇 가지 지표를 더 추가했습니다.

각 블록은 참여 수준이 서로 다른 다양한 사용자 세그먼트를 나타냅니다. 그리고 제품을 사용한 모든 사용자는 특정 날짜에 단 하나의 블록에만 속합니다. 즉, 모델의 블록은 듀오링고를 사용한 적이 있는 전체 사용자 기반을 나타내는 MECE(상호 배타적, 총체적 포괄적)입니다. 화살표는 블록 간의 사용자 이동을 측정합니다(여기에는 CURR, NURR, RURR 및 SURR이 포함되지만 주간이 아닌 일일 리텐션율로 발전됨). 블록과 화살표를 결합한 이 모델은 신규 사용자가 유일한 단절인 거의 폐쇄 회로 시스템을 만듭니다.

편리하게도 모델의 상위 4개의 블록이 DAU에 합산됩니다. 이러한 블록은 다음과 같이 정의됩니다:

- 신규 사용자: 앱 사용 첫날의 참여도                

- 현재 사용자: 오늘 참여했으며 지난 6일 동안 최소 한 번 이상 참여했습니다.                

- 재활성화된 사용자: 7~29일 동안 자리를 비운 후 참여 첫날                

- 부활한 사용자: 30일 이상 자리를 비운 후 참여 첫날                

나머지 3개의 블록은 오늘 활동하지 않았으며 비활동 정도가 다른 사용자를 나타냅니다.

-  위험 WAU: 현재 비활성 상태이지만 지난 6일 중 최소 하루 이상 활동한 경우     

- 위험 WAU (1~6일 전 활동하고 오늘 활동 안 함) + DAU(오늘 활동함) = WAU (1주일간 활동한사용자)    

- 위험 MAU: 지난 7일 동안 비활성 상태였으나 지난 23일 중 최소 하루 이상 활동한 경우    

 위험 MAU(8~30일 전 활동하고 이번주활동 안 함) + WAU(이번주활동함) = MAU(이번달 활동한 사용자)

                                                      

-  휴면 사용자: 지난 31일 이상 비활성 상태인 사용자                                                            

- MAU(30일간 사용한 사용자) + 휴면 사용자(사용한 지 30일이 넘은 사용자) = 총 사용자 기반

                                                      

이러한 블록에서 DAU, WAU, MAU를 쉽게 계산할 수 있기 때문에 시간 경과에 따른 모델링이 쉬웠습니다. 이것이 이 모델의 핵심 기능입니다. 또한 화살표로 표시된 비율을 조작하여 시간 경과에 따른 비율 이동의 복합 및 누적 영향을 모델링할 수 있습니다. 즉, 비율은 제품 팀이 DAU를 늘리기 위해 사용할 수 있는 지렛대입니다.

모델을 만든 다음에는 매일 데이터를 스냅샷하여 지난 몇 년 동안 모든 사용자 블록과 리텐션율이 일별로 어떻게 변화해 왔는지에 대한 기록을 만들기 시작했습니다. 이 데이터를 통해 미래 예측 모델을 만든 다음 민감도 분석을 수행하여 어떤 레버가 DAU 증가에 가장 큰 영향을 미칠지 예측할 수 있었습니다. 다른 모든 요율을 일정하게 유지한 채 3년 동안 매 분기마다 단일 요율을 2%씩 이동하는 시뮬레이션을 실행했습니다.

아래는 첫 번째 시뮬레이션의 결과입니다. 각 레버에서 2%의 작은 움직임이 예상 MAU와 DAU에 어떤 영향을 미치는지 보여줍니다.

우리는 즉시 CURR이 두 번째로 좋은 지표의 5배에 달하는 막대한 영향을 DAU에 미친다는 것을 확인했습니다. 지금 생각해 보면 현재 사용자 블록에는 활성 상태를 유지하는 현재 사용자가 같은 블록(현재 사용자 블록)으로 돌아간다는 흥미로운 특성이 있기 때문에 CURR 결과가 합리적입니다.

이는 복리 효과를 발생시켜 CURR을 움직이기가 훨씬 더 어렵지만, 일단 움직이면 더 큰 영향을 미칠 수 있음을 의미합니다. 이 분석을 바탕으로 우리는 우리가 원하는 전략적 돌파구를 마련하기 위해 CURR이 반드시 개선해야 할 지표라는 것을 알았습니다. 그래서 CURR을 북극성 지표로 삼아 리텐션 팀이라는 새로운 팀을 만들기로 결정했습니다.

CURR에 집중함으로써 얻은 가장 큰 이점 중 하나는 이전에는 가장 중요하게 생각했던 것들, 특히 신규 사용자 유지에 더 이상 신경 쓰지 않기로 결정한 것입니다. 이는 수년간 신규 사용자를 대상으로 성장 실험의 대부분을 진행하며 큰 성공을 거둔 회사로서는 엄청난 사고방식의 전환이었습니다.

또 다른 큰 교훈은 지표가 DAU에 미치는 영향과 MAU에 미치는 영향 사이에 엄청난 차이가 있다는 점입니다. 예를 들어, CURR이 DAU에 미치는 영향은 MAU에 미치는 영향의 6배에 달했습니다. iWAURR(비활성 WAU 재활성화율)은 DAU를 이동시키는 데는 두 번째로 좋은 수단이었지만 MAU를 이동시키는 데는 신규 및 부활 사용자 증가에 이어 4번째로 중요한 수단이었습니다. 즉, 언젠가는 MAU를 크게 개선하려면 신규 사용자 확보를 위한 새로운 성장 요소를 찾아야 한다는 것을 의미했습니다. 하지만 당분간은 DAU를 늘리는 데에만 초점을 맞추었기 때문에 다른 모든 성장 수단보다 CURR에 우선순위를 두었습니다. 그리고 그것은 올바른 선택이었습니다.

리더보드                                                                    

이 명확한 지침을 바탕으로 과거 모델 데이터와 몇 년 동안의 A/B 테스트를 살펴보고 과거에 우연히 CURR을 움직인 적이 있는지 확인했습니다. 놀랍게도 그렇지 않았습니다. 사실 CURR은 몇 년 동안 움직이지 않았습니다. 우리는 첫 번째 원칙에 따라 CURR을 이동시키기 위한 첫 번째 단계를 찾아야 했습니다.

저는 여전히 리텐션을 개선하기 위해 게임화가 좋은 출발점이라고 생각했습니다. 가든스케이프 스타일의 카운터에 실패했다고 해서 게임화가 듀오링고에 여전히 장점이 있다고 믿었던 원래의 이유가 반증된 것은 아니며, 카운터가 서투른 시도였다는 사실만 알게 되었을 뿐입니다. 이번에는 추가하거나 차용한 기능에 대해 보다 체계적이고 지능적으로 접근했습니다. 이전 게임화 작업에서 얻은 교훈을 게임화에 적용했습니다.

고민 끝에 저희는 리더보드에 베팅하기로 결정했습니다. 그 이유와 방법을 소개합니다. 듀오링고에는 이미 사용자들이 친구 및 가족과 경쟁할 수 있는 리더보드가 있었지만, 그다지 효과적이지는 않았습니다. 징가에서의 경험을 바탕으로 더 나은 방법이 있다고 생각했습니다. 제가 Zynga의 FarmVille 2 게임 작업을 시작했을 때, 이 게임에는 듀오링고의 기존 리더보드와 유사한 리더보드가 포함되어 있어 사용자가 친구들과 경쟁할 수 있었습니다. 저는 플레이어로서의 개인적인 경험을 바탕으로 개인적 관계의 친밀함보다는 경쟁자의 참여도가 더 중요할 것이라는 가설(서비스를 사용하지 않는 친한 친구들이랑 경쟁하는 것보다, 경쟁하는 사람들이 활발히 서비스를 사용하고 있는 사람들이게 더 중요)을 세웠습니다. 특히 많은 유저의 친구가 더 이상 활동하지 않는 성숙한 제품에서는 더욱 그러할 것이라고 생각했습니다. 징가에서의 테스트 결과, 그 생각은 사실로 밝혀졌습니다. 이를 바탕으로 Zynga에서 설계에 참여했던 것과 유사한 리더보드 시스템이 우리 제품에서도 성공할 수 있을 것이라고 생각했습니다.

팜빌 2의 순위표에는 "리그" 시스템도 포함되었습니다. 사용자는 주간 순위표의 정상에 오르는 것 외에도 브론즈 리그, 실버 리그, 골드 리그 등 일련의 리그 레벨을 이동할 수 있는 기회를 가졌습니다. 리그는 사용자에게 더 큰 발전과 보상을 제공했으며, 이는 게임 디자인에서 필수적인 요소였습니다. 또한 리그에 참여한 사용자는 매주 더 경쟁이 치열한 리그로 올라가기 때문에 시간이 지남에 따라 참여도가 높아졌습니다. 이 기능은 경쟁과 발전이라는 인간의 공통적인 동기를 직접적으로 활용하기 때문에 듀오링고의 기존 제품에도 잘 적용될 수 있다고 생각했습니다.

사용자는 전주에 비슷한 수준의 참여를 보인 다른 사용자와 매칭됩니다. 이번 주 말의 상위 플레이어는 다음 주에 더 높은 리그로 이동합니다.

하지만 팜빌 2 순위표의 모든 측면이 듀오링고에 그대로 적용되지는 않았습니다. 저희는 이 게임 메커니즘을 듀오링고의 상황에 맞게 조정하기 위해 판단력을 발휘해야 했습니다. 팜빌 2에서는 순위표에서 경쟁하려면 핵심 게임 플레이 외에 추가적인 종류의 작업을 완료해야 했습니다. 이 부분은 의도적으로 제외했습니다. 듀오링고의 맥락에서 더 많은 과제는 언어 학습에 불필요한 복잡성을 더할 뿐입니다. 저희는 의도적으로 리더보드를 최대한 부담스럽지 않게 만들었으며, 사용자들은 자동으로 리그에 참여하게 되고 정기적인 언어 학습에 꾸준히 참여하기만 하면 첫 번째 리그의 상위권으로 올라갈 수 있습니다. 게임 메커니즘은 흥미진진하게 유지하되 팜빌 2보다 더 단순하게 만들었기 때문에 수용과 적응 사이에서 적절한 균형을 이룬 것 같았습니다.

리더보드 기능은 지표에 거의 즉각적으로 큰 영향을 미쳤습니다. 전체 학습 시간이 17% 증가했고, 참여도가 높은 학습자(주 5일 동안 하루에 1시간 이상 학습하는 사용자)의 수가 3배로 증가했습니다. 당시에는 아직 CURR의 통계적 유의성을 계산하는 방법을 찾지 못했지만, 기존의 리텐션 지표(D1, D7 등)가 통계적으로 유의미하게 개선된 것을 확인할 수 있었습니다. 이후 리더보드 기능은 지표 개선을 위한 중요한 요소가 되었고, 팀은 현재까지도 이 기능을 계속 최적화하고 있습니다. 또한 중요한 것은 리더보드가 리텐션 팀의 첫 번째 돌파구였다는 점입니다!

푸시 알림                                                                   

리텐션 팀은 현재 사용자가 매일 연습에 참여하고 동기를 부여할 수 있는 더 많은 메커니즘을 찾기 위해 전력을 다했습니다. 그들이 검토하기 시작한 한 가지 영역은 푸시 알림이었습니다. 듀오링고는 지난 몇 년간 상당한 A/B 테스트를 통해 알림이 성장의 큰 동력이 될 수 있다는 사실을 확인했지만, 지난 몇 년 동안 그 영향력이 정체되어 있었습니다. 새로운 아이디어로 활력을 되찾은 팀과 함께 지금이 이 요소를 다시 살펴볼 적기라고 생각했습니다.

이 문제를 해결하기 시작하면서 가장 중요한 원칙이 하나 있었습니다. 이 원칙은 Groupon의 CEO가 한 조언에서 비롯되었습니다. 루이스 폰 안 CEO는 오랫동안 Groupon이 하루에 한 번의 이메일 알림을 고집했다고 설명했습니다. 하지만 팀원들은 이메일을 더 많이 보내면 지표가 개선될지 고민하기 시작했습니다. 결국 CEO는 양보하여 팀에서 매일 각 사용자에게 이메일을 한 번 더 보내는 테스트를 하도록 허용했습니다. 이 테스트 결과 목표 지표가 크게 증가했습니다. 이에 고무된 Groupon은 실험을 계속하여 하루에 5건까지 더 많은 이메일을 보냈습니다. 그러던 중 하루아침에 이메일 채널의 효과가 대부분 사라졌습니다. 시간이 지남에 따라 Groupon의 공격적인 이메일 테스트가 누적되면서 채널은 기본적으로 파괴되었습니다. 이메일과 푸시 알림을 공격적으로 A/B 테스트할 때 종종 간과되는 위험 중 하나는 사용자가 채널에서 옵트아웃(구독취소/알림 해제)하게 되고, 테스트를 중단하더라도 해당 사용자는 영원히 옵트아웃 상태로 유지된다는 것입니다. 이 작업을 여러 번 수행하면 채널이 망가집니다. 이는 피해야 할 결과였습니다. 푸시 알림의 경우 채널 보호라는 한 가지 기본 규칙을 설정했습니다.

이러한 제약을 염두에 두고 팀에 타이밍, 템플릿, 이미지, 카피, 로컬라이제이션 등과 같은 측면에서 최적화할 수 있는 많은 자유를 주기로 결정했지만, 강력한 정당성과 CEO의 승인 없이는 알림 수를 늘릴 수 없었습니다. 시간이 지남에 따라 수많은 반복, A/B 테스트, 밴디트 알고리즘을 통해 팀은 해마다 DAU가 크게 증가한 수십 개의 중소 규모의 성과를 창출할 수 있었습니다.

2019년에 입소문을 탄 듀오링고의 '밀어붙이기'에 대한 밈

연속기능(스트라이크)                                                   

리텐션 팀의 PM은 더 많은 성장 요소를 찾기 위해 리텐션과 특정 듀오링고 기능의 사용 사이에 강력한 상관관계가 있는지 조사하기 시작했습니다. 그 결과 사용자가 10일을 연속으로 사용하면 이탈할 확률이 크게 줄어든다는 사실을 발견했습니다. 물론 이 중 상당 부분은 단순히 상관관계와 선택 편향에 의한 것이었지만, 이 기능 개선에 다시 투자할 만큼 흥미로운 인사이트가 있다고 생각했습니다.

스트라이크의 개념은 매우 간단합니다. 사용자가 앱에서 어떤 활동을 한 연속 일수를 표시하는 것입니다. 하지만 스트라이크와 관련하여 의외로 많은 최적화 기회가 있다는 것이 밝혀졌습니다.

저희는 연승이 곧 끊어질 경우 연승이 있는 사용자에게 알려주는 알림인 연승 세이버 알림으로 첫 번째 큰 성과를 거두었습니다. 이 심야 알림은 연승 최적화를 두 배로 늘리는 것이 실제로 상당한 이점이 있다는 것을 증명했습니다. 그 후 달력 보기, 애니메이션, 연승 정지 기능 변경, 연승 보상 등 여러 가지 개선이 이어졌습니다. 각 개선 사항들은 원래의 연승 아이디어를 개선하는 데 도움이 되었으며 리텐션에 상당한 개선 효과를 가져왔습니다.

현재까지 스트라이크 기능은 듀오링고의 가장 강력한 참여 메커니즘 중 하나입니다. 사람들이 듀오링고 경험에 대해 이야기할 때 종종 스트릭을 언급하곤 합니다. 최근에 만난 한 사용자는 "1,435일 연속으로 말했어요!"라고 말하며 "연속이 멈춘 적이 없어요!"라고 덧붙였습니다. 거의 4년 동안 매일 자신이 선택한 언어를 공부해 왔기 때문에 그의 자랑은 당연한 것이었습니다.

연승은 여러 가지 이유로 효과가 있습니다. 그중 하나는 연승이 시간이 지남에 따라 사용자의 동기 부여를 증가시키고, 연승이 길어질수록 연승을 계속 유지하려는 동기가 커진다는 점입니다. 사용자 리텐션과 관련하여 이는 우리가 사용자에게 원하는 바로 그 행동입니다. 학습자가 매일 듀오링고를 방문하면 전날보다 다음날 다시 방문하고 싶은 마음이 더 커져 리텐션과 DAU가 증가합니다. 메타 레슨으로서, 연쇄 메커니즘의 성공은 기존 기능에서 큰 성과를 거둘 수 있다는 것을 보여주었습니다.

CURR을 뛰어넘는 성장

언젠가는 CURR이 한계에 부딪힐 것이기 때문에 조만간 새로운 사용자 확보를 위한 성장 요소를 찾아야 한다는 건강한 편집증도 있었습니다. 리텐션 팀은 CURR을 높이는 데 집중했지만, 회사 전체적으로는 새로운 요소(리텐션과 신규 사용자 확보 모두)를 찾기 위해 제품 및 마케팅 팀을 점점 더 많이 만들어 성장에 대한 투자를 꾸준히 늘렸습니다. 다행히도 해외로 확장하고, 소셜 기능을 구축하고(결국 확보 팀이 이 기능으로 전환하여 큰 성공을 거두었습니다), 강좌 콘텐츠 제작을 가속화하고, 인플루언서와 협력하고, 학교에서의 입지를 넓히고, 유료 UA에 (조금씩) 투자하고, TikTok에서 입소문을 내는 등 이러한 여러 가지 베팅이 성공적이었습니다. 각각의 사례는 그 자체로 가치가 있습니다.

전체 결과                                                                                  

4년간의 노력을 통해 CURR을 21% 늘릴 수 있었고, 이는 우수 사용자의 일일 이탈률을 40% 이상 감소시켰으며, 다른 성공적인 베팅과 함께 DAU를 4.5배 증가시키는 결과를 가져왔습니다. 작년은 듀오링고 역사상 가장 빠른 성장률을 기록한 해 중 하나였습니다. 사용자 기반의 질도 향상되어 7일 이상 연속으로 사용하는 DAU의 비중이 거의 3배로 증가하여 전체 DAU의 절반 이상이 되었습니다. 이는 현재 듀오링고의 활성 사용자 수가 훨씬 더 많아졌을 뿐만 아니라 이러한 사용자가 계속 재방문하고 친구를 추천하며 슈퍼 듀오링고에 가입할 가능성이 훨씬 더 높아졌음을 의미합니다. 이러한 성장은 듀오링고의 성공적인 IPO의 핵심이었습니다.

이 글이 여러분의 제품을 위한 새로운 성장 동력을 찾는 데 필요한 영감이 되길 바랍니다. 듀오링고에서 제가 경험한 것 중 어떤 것을 채택하더라도 최선의 판단을 통해 각자의 상황에 맞게 적용하시길 바랍니다. 듀오링고나 다른 회사가 한 일을 맹목적으로 신뢰하지 마세요. 확실히 저에게는 효과가 없었습니다. 즐거운 실험되세요!