A/B 테스트 게임에 적용하기
A/B 테스트를 통해 도입률, 리텐션, 매출, 신규 기능 개선하기
A/B 테스트가 가장 큰 효과를 가져올 수 있지만, 잘 적용이 되지 않고 있는 산업 군을 꼽으라면 게임산업인 것 같습니다. 테스트의 도입률이 낮은 이유는 실제 적용 사례가 적어 참고할 만한 reference들이 없다는 점, 게임 산업의 특성상 다른 산업 군과의 교류(이직 등으로 인한)가 많지 않아 다른 산업에서 사용되는 제품개발 방법 등이 빠르게 전이되지 않는다는 점 등을 들 수 있습니다. 이번 글에서는 다른 산업에서 활발하게 사용되어지는 A/B 테스트가 게임산업 어떤 부분에 적용이 가능한지와 그 예시 그리고 테스트에 도움을 주는 솔루션을 소개 드리려고 합니다.
A/B 테스트가 적용 가능한 영역
A/B 테스트가 게임을 개선할 수 있는 영역은 게임의 1) 도입률, 2) 리텐션, 3) 매출, 4) 신규(또는 개선) 기능의 영향도 파악 등입니다.
1) 도입률:
게임의 도입률은 게임의 성공에 가장 중요한 요인 중 하나 입니다.조사기관에 따라 차이는 있지만 모바일 게임의 경우 1회 사용 후 게임을 더 이상 사용하지 않는 유저의 비율이 50~60%를 넘어갑니다. 많은 광고비를 사용하며, 앱스토어에서 게임을 애써 다운로드하게 했더라도 절반 이상의 유저가 떠나버리는 거죠.
도입률의 영향을 주는 대표적인 요소는 게임 접속 시 보여지는 이미지 (또는 영상), 튜토리얼 방식, 튜토리얼 중 주어지는 보상 (Starter Package) 등이 있습니다. 이런 부분들은 모두 A/B 테스트를 통하여 개선이 가능한 영역들입니다. 예를 들어, 게임 초기 접속 시 노출되는 화면의 경우 이미지의 종류나 색상, 색채 등을 변경해 가며 테스트가 가능합니다. 게임의 성격에 따라 조금 더 고전적인 느낌의 일러스트가 더 좋은 효과를 가져오기도 하고, 스토리가 포함된 동영상이 더 좋은 효과를 가져오기도 합니다.
Netflix의 컨텐츠 기본 삽화 테스트 (Figure 1)는 A/B 테스트의 대표적인 성공사례로 잘 알려져 있습니다. 기본 삽화의 변경을 통하여 사용자들의 CTR의 영향을 측정 및 개선한 실험입니다. 게임의 경우 초기 화면에 대한 더 자유로운 변경이 가능하다는 점, 그리고 해당 화면이 유저에게 노출되는 비율이 100%라는 점을 고려하면 Netflix의 테스트 보다 더 효과적일 수 있습니다. 튜토리얼의 방식 또한 유저에게 하나하나 알려주는 방식과 유저가 스스로 테스트해보게 하는 방식을 테스트해 볼 수 있는 영역입니다.
[Figure 1: Netflix 기본 삽화 변경에 따른 CTR 테스트]2) 리텐션:
유저에게 주어지는 보상 체계, 게임 난이도 등은 리텐션에 직접적으로 영향을 주는 요소들로 A/B 테스트의 좋은 영역입니다. 예를 들어, 게임의 특정 단계를 완료하면 주어지는 보상 값을 100~200의 랜덤 값으로 주어지도록 한 후, 보상의 크기에 따라 유저 그룹의 리텐션을 확인해 가며, 해당 단계의 보상을 최적화해 나갈 수 있습니다. 도입률, 매출 등에 비하여 리텐션의 경우 측정을 하는데 시간이 더 걸린다는 점, 조금더 체계적인 가설 설정이 필요하다는 점으로 인하여 많은 경우 다른 영역에 대한 최적화가 어느 정도 진행된 이후 테스트가 시작되는 영역이기도 합니다.
3) 매출:
매출은 상점 진입 경로 (넛지 등), 유료로 판매되는 아이템들의 배치, 광고 전략 변경 등을 통하여 A/B 테스트가 적용 가능한 가장 대표적인 영역입니다. 매출 지표에 대한 테스트는 많은 경우 초기에 이뤄집니다. 이유는 테스트에 따라 가장 크고 즉각적인 효과를 기대할 수 있다는 점, 직접적인 매출의 변화량을 확인하며 실제로 테스트를 위해 투입된 비용과 정확한 비교를 할 수 있어 정확한 ROI (Return on Investment)를 확인할 수 있다는 점 때문입니다.
4) 신규 또는 개선 기능의 영향도 파악:
테스트를 통하여 새로운 기능이 출시되었을 시, 일부 유저에게만 먼저 해당 기능을 테스트를 하며 그 기능이 유저의 사용시간, 게임 내 매출 등 중요한 지표에 어떻게 영향을 미치는지 확인 할 수 있습니다. 이는 출시한 기능이 예상과 다른 방식으로 작용하여 전체 유저에게 한번에 안 좋은 영향을 주거나, 심지어 전체 roll-back을 해야 하는 상황을 막아줍니다. 하나의 잘못된 기능이 게임 전체에 엄청난 영향을 주는 만큼, 이 부분은 자주 간과되기는 하지만, 가장 중요한 영역입니다.
A/B 테스트 게임적용 예시
아래는 튜토리얼 방식을 변경함으로써 신규 유저의 도입률에 영향을 주는 실험의 예시입니다. 게임을 플레이하기 위하여 필수적인 세부 설명을 skip을 가능하게 하는 방식과 그렇지 않은 방식을 신규 가입 유저를 대상으로 테스트를 진행합니다.
타겟 (Target Audience): 신규가입 유저
대조군 (Control Group): 기존 튜토리얼 방식 (세부 설명 skip 불가능)
실험군 (Experiment Group): 신규 튜토리얼 방식 (세부 설명 skip 가능)
목표(지표): 리텐션 (D1, D3, D7)
A/B 테스트 솔루션을 사용해야 하는 이유
테스트를 진행을 위해서는 A/B 테스트를 도와주는 솔루션을 사용하는 것이 효과적입니다. 대표적인 이유는 대조군과 실험군으로의 랜덤한 분배, 통계적 유의미성에 대한 자동적인 분석, 다양한 목표(지표)들을 쉽게 확인할 수 있는 점 등이 있습니다. 예시로, 위 실험을 진행할 때, 중요한 점 중 하나는 테스트에 대한 결과 분석을 할 때 기존 가입 유저가 새로운 아이디를 만들어 가입한 경우는 제외해 주어야 한다는 점입니다. 솔루션을 사용하지 않을 시에는 위와 같은 기본적인 예외 사항들을 제외해 주기 위하여 추가적인 작업이 필요하고 이는 실험 실행에 대한 비용 증가로 이어집니다. A/B 테스트의 목적 중 하나인 더 빠르게 더 많은 실험을 통하여 제품(게임)을 성장시킨다는 취지에 맞지 않는 것이죠. A/B 테스트를 도와줄 수 있는 솔루션으로는 핵클 (hackle.io)을 추천드립니다. 국내에서 만들어진 솔루션으로 일정 수준의 traffic 까지는 무료로 사용이 가능한 점, 가장 다양한 목표(지표)의 설정이 가능한 점, 가장 빠른 서포트가 가능한 점 등이 큰 장점입니다.
