brunch

매거진 우당탕 그로스 실험실

라이킷 14 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by Zen May 30. 2017

게임 튜토리얼에 관한 야매 실험

*주의

이 글은 저자의 다소 주관적인 견해와 야매에 가까운 설계-실험-분석을 기반으로 작성되었으며, 실험 이후 시간이 꽤 흐른 탓에 기억을 되짚어가며 쓴 부분이 있으니 주의하여 읽어보기를 권합니다.

게임 튜토리얼

2012년 GDC에서 팝캡의 리드 디자이너 조지 팬(George fan)은 좋은 튜토리얼을 만들기 위한 10가지 법칙[1]을 소개한 적이 있다. 플랜츠 vs 좀비 개발 경험을 토대로 제안했던 이 법칙들은, 북미 게임 특히 캐주얼 장르에는 여전히 많은 영향력을 미치고 있는 듯하다. 그의 말에 따르면 좋은 튜토리얼은 게임을 좋아하지 않는 사람(예를 들어 조지 팬의 엄마)도 게임에 빠지게 만든다고 한다.

이사람이 조지 팬, http://www.pcgamer.com/making-of-plants-vs-zombies/

그래서 왜 중요하다고?

굳이 사례를 들지 않아도 잘 만든 튜토리얼이 중요하다는 것은 게임 개발자라면 직군을 떠나서 누구든 동감할 만한 내용이다. 그래서 결론은 음.. 게임 안 좋아하는 우리 엄마도 한번 플레이하면 멈출 수 없게 만드니까 게임 튜토리얼은 매우 중요하다? 뭔가 추상적인데.. 그래도 더 설득력 있는 이유가 있지는 않을까.

리텐션

다시 생각해보면 조지 팬이 이야기했던 '우리 엄마'는 모바일 게임에 익숙하지 않은 연령의 라이트 한 플레이어 성향이라고 볼 수 있을 것 같다.(일반적인 모바일 캐주얼 게임 플레이어 특성이 그렇다. 연령이 비교적 광범위하고, 성향이 라이트하고 [2]) 그리고 '한번 플레이하면 멈출 수 없게 만든다'는 말은 리텐션의 지속에 대한 이야기로 볼 수 있다(아니면 말고). 아무튼 튜토리얼은 어쩌면 게임 리텐션에 영향을 미치는 것이 아닐까?

가설

야매 실험도 실험이니까 간단히 가설을 세워 보았다.

잘 만든 튜토리얼을 플레이한 플레이어의 리텐션은 스킵한 플레이어보다 높을 것이다.

가설 끝.

실험 방법

튜토리얼을 잘 만들었다는 판단 기준은 상당히 주관적일 수 있는 부분이지만 야매 실험이니까 넘어가도록 하자 (최소한 조지 팬의 10가지 법칙 정도는 지켰다). 실험 대상 게임은 글로벌 퍼즐게임으로 유명한 이전 직장의 3 match 장르 A 프로젝트로 정했고, 해당 프로젝트 PD와 협의(라고 쓰고 협박이라 읽는다.)하여 진행하였다.

먼저 A 프로젝트의 스테이지 초반 코어 룰 튜토리얼 지점에서 01 NEXT버튼과 02 SKIP 버튼에 각각 로그를 심고, 해당 버전의 빌드를 구글 플레이 B 국가 계정에 업데이트했다(패기..). 그리고 유입되는 플레이어의 각 버튼 선택 이후 7~30일 차 리텐션 차이를 비교해보았다. 몇몇 캐주얼 게임의 경우 다음 버튼이 따로 없고 인터랙티브 하게 게임을 플레이하도록 대체한 경우가 있긴 한데, 큰 맥락에서 차이는 없다고 보았다.

SGN사의 쿠키잼. 딱 비슷한 UI 구성이었다.

실험 대상

구글 플레이 B 국가 계정으로부터 유입되는 모든 플레이어를 대상으로 진행되었다. 해당 프로젝트는 실험기간 동안 하루에 약 1000명 꼴로 유입되었고, 한 달간 약 3만 명의 로그 데이터를 살펴보았다.

실험 결과

30대에 들어서 장기 기억력의 한계로 인해 30day 수치는 아주 미세하게 실제와 다를 수 있음...

결과를 살펴보니 튜토리얼을 완료한 플레이어의 7일 차 리텐션은 스킵한 플레이어에 비해 4% 높았고, 30일 차 리텐션은 대략 0.2% 정도로 높게 나타났다 [3]. 30일간의 리텐션 합계는 72% p 차이를 보였고 이 정도 수준이면 광고 BM 기반일 경우의 LTV를 고려했을 때 무시할 수 없는 차이라 할 수 있다.

결론

야매 실험의 결과는 가설을 지지했다. 잘 만든 튜토리얼을 어떻게든 플레이어가 스킵하지 않고 플레이하게 만든다면 리텐션이 상승하는 효과를 기대해볼 수 있는 것이다(잘 만든 튜토리얼에 대해서는 조지 팬의 글을 참고해보도록 하자). 주관적으로 원인을 추론컨데, 튜토리얼을 스킵한 플레이어는 게임의 디테일한 룰과 세계관에 대한 이해도가 떨어져 장기적으로 게임에 대한 흥미 하락으로 접는 경우를 생각해 볼 수 있다. 3 match 장르의 경우 캔디 크러시의 영향을 받은 메인 스트림의 코어 룰은 어느 정도 유사하지만 2x2 부스터나 보드 형태, 기믹 등에서 세부적인 룰이 다른 경우가 종종 있다. 이러한 디테일한 차이를 당연히 안다고 생각하고 튜토리얼을 스킵하는 플레이어는 곧..

...

[1] Gamasutra - GDC 2012, https://goo.gl/kIGVN0

[2] 게임 산업의 메이저리그 미국 게임 시장 공략. KOTRA. https://goo.gl/yS4X6O

[3] 다만 NEXT와 SKIP 버튼을 선택한 각 플레이어의 비율은 8:2 정도로 전체 모수는 NEXT 쪽이 훨씬 더 많았다. 많은 모바일 캐주얼 게임에서 SKIP버튼을 Thum Zone에서 벗어난 스크린 귀퉁이에 두는 경우를 볼 수 있는데, 튜토리얼을 스킵하는 편의성보다는 완료하는 행위에 대한 가치를 더 높게 두기 때문이다. 이로 인해 대체로 SKIP 버튼은 찾으려고 한번 시선을 두지 않으면 쉽게 발견할 수 없다. 관련해서 이전에 했던 실험이 하나 더 있는데, 스킵과 넥스트 버튼을 화면 중앙 영역에 인접하여 두고 터치율을 비교해보는 실험이었다. 결과는 5:5로 유사하게 나왔다.