앱스토어 제품 페이지 최적화 (1)
이제 앱스토어에서도 A/B 테스트 하자. 전후 테스트 그만하고..
앱스토어에 실험 모듈이 생겼다.
구글 플레이스토어의 "스토어 등록정보 실험"과 유사한 기능으로
"제품 페이지 최적화(Product Page Optimization, PPO)"라는 이름의 기능이 생겼다.
목 빠져라 기다린 이 실험 모듈에 대해 글을 쓰기에 앞서,
왜 스토어 실험 모듈이 소중하고 중요한지에 대해서부터 풀어 쓰는 것이 필자의 시리즈물 스타일이지만,
갈증 해소의 청량함이 극에 달한 시점이라 이번만 본론부터 먼저 이야기 하고 배경에 대한 글은 후속으로 쓰려 한다.
PPO의 등장
오가닉 유저 그로스를 담당하는 우리 입장에서는, 스토어 실험 모듈이 간절하다. 유의미한 가설에 기반하여 유저 모객을 위한 전략을 가다듬는 데에 전후 테스트는 한계가 크기 때문이다. 그렇다보니 실험 모듈을 제공하는 구글 플레이스토어에, 그렇지 않은 앱스토어 보다 더 많은 시간을 쏟게 된다. 물론 구글의 실험 모듈에도 세부 지표를 보여주지 않는다는 점에서 아쉬운 점이 있지만, 최종 지표인 오가닉 인스톨 수를 기반으로 Winner 를 알려주는 것만으로도 감지덕지 아니겠는가.
그러던 와중에 앱스토어에서도 스토어 실험 모듈(PPO)을 2021년 연말에 런칭할 계획이라는 발표를 낸다.
가만-히 새해를 맞이하고 스토어 콘솔에 들어갔으나, 눈을 씻고 봐도 스토어 실험 모듈의 엔트리를 찾을 수가 없었다. 가이드에 따르면 분명 좌측 하단에 떠야 하는데 ... 관련해서 아티클도 많지 않은데다가, 대부분의 문장들이 "It seems..." "It might .." 등 그들도 '추정'하는 느낌의 문장을 구사하여 신빙성이 떨어졌다.
그러던 와중에 등잔 밑이 어둡다고, 공식 안내 페이지를 통해 뭔가를 신청하는 창구를 발견했다.
정확히 이번 실험 모듈의 이름은 제품 페이지 최적화(Product Page Optimization, PPO)인데, 해당 신청 창구는 PPO 를 포함하여 크게 변화하는 앱 제출 프로세스를 일괄 미리 경험할 수 있게 신청하는 것이었다.
한달이라도 빨리 쓰고 싶은 마음에 바로 신청을 했고, 얼마 시간이 지나지 않아 승인이 되었다.
유후 그리고 바로 해당 엔트리 포인트가 생겼다. (두근)
"제품 페이지 최적화"...크구글 플레이 스토어 등록정보 실험과의 차이점과 공통점
애초에 두 스토어는 등록정보 asset 구성부터 다르다. 가령 앱스토어에는 부제(Subtitle 30자)가 있고, 플레이스토어에는 간단한 설명(Short Description 80자)이 있다. 나아가 각 구성물들이 언제 어떻게 노출되는지도 다르고, 각 플랫폼 내에서도 변화하고 있다. 그것들에 대해서는 주지하고 있다는 전제 하에 차이점을 아래와 같이 간단히 정리해보겠다. (알려져 있는 사실만 기반하기 때문에, 빠진 내용이 있을 수 있다.)
a. 스토어 어셋 관련
1) 앱 이름 (App name)은 둘 다 실험 불가능
그렇다. 앱 이름은 두 OS 모두 실험이 불가능하다.
그래도 앱 이름은 전후 테스트로도 제법 명확하게 변화를 확인할 수 있는 변수니까.. 이해 가능..!
2) 텍스트는 실험 불가능
Short Description, Long Description 에 대한 실험이 가능한 구글 플레이 스토어와 다르게, 앱스토어는 Subtitle, Description 에 대한 실험이 불가능하다.
다시 말하면, 아이콘, 스크린샷, 미리보기 (동영상) 에 대해서만 실험이 가능한 셈이다.
3) 아이콘 실험을 위해서는, 실험군 이미지 파일이 앱 안에 존재해야 함
구글 플레이 스토어와 다르게, 앱스토어에서 아이콘 실험을 하기 위해서는 미리 실험군 이미지를 앱 바이너라 안에 넣어 놓아야 한다.
다시 말하면, 아이콘 실험을 하려면 앱 바이너리 안에 실험군 아이콘을 넣고 앱 심사를 통과한 이후에 실험을 세팅할 수 있다는 말이다.
b. 앱 심사와의 관련성
1) 실험시 앱 심사와 동일한 심사 프로세스를 밟으나, 앱을 심사하는 것은 아님
앱 심사가 필요하다고 뜰 것이다. 실제로는 스토어 정보 심사이니 쫄지 말고 진행하면 된다. 구글 플레이 스토어는 실험 세팅시 (글자 수, 용량 등 스펙을 준수 했다는 전제 하에) 즉각 반영된다. 앱스토어는 별도의 심사 프로세스를 거친 이후에 승인이 되어야 실험이 개시된다.
사실상 앱 제출과 동일한 프로세스를 밟는 셈이다. 그저 심사 대상이 앱이 아니라 스토어 정보일 뿐이다.
앱 제출 심사보다는 시간이 훠-얼씬 적게 걸린다. (20분 걸림) 아마도 아직 활발하게 심사 요청이 들어오고 있지 않기 때문으로 보인다.
따라서 이 심사에서 리젝이 된다고 하여 배포된 앱에 끼치는 영향 같은 건 없으니 안심해도 된다.
(위 팝업 창의 메세지는 다소 오해의 여지가 있어서 약간 겁을 먹게 된다.)
2) 앱 심사와 동시에 진행할 수 없음
만약 앱을 제출하여 심사 중이라면, PPO 심사를 요청할 수 없다.
거꾸로 PPO 심사를 요청하고 통과되어 실험이 진행 중일 때, 도중에 앱을 새로 제출하여 심사를 한다면 PPO 실험이 중단된다. 이 경우 다시 재개할 수 없고 처음부터 모수를 모아야 한다. 그러므로 앱 배포 주기를 고려하여 실험을 플래닝 해야 한다.
c. 실험의 개수
1) 하나의 실험에 여러 국가를 동시에 진행할 수 있으나, 분석은 쪼개서 안됨
구글 플레이 스토어는 현지화 실험시 하나의 실험에 하나의 국가(언어)만 세팅이 가능하다. 앱스토어는 배포 중인 모든 국가(언어)에 동시에 세팅이 가능하다. 이 때 스크린샷이 모든 국가에 일괄 동일한 실험군으로 적용되는 것이 아니라, 각 국가별 실험군을 일일이 세팅할 수 있다. 가령 스크린샷 A 를 추가하는 실험군을 세팅한다 했을 때, 국가별 언어로 번역된 스크린샷 A 를 국가별 실험군으로 세팅할 수 있다.
아주 이득이라고 생각했으나, 다음 날 지표 분석을 하러 들어가보니 데이터를 국가별로 나누어 보여주지 않는다..
이 함정에 주의하자. 여러 국가를 동시에 진행할 수 있으나, 동시에 진행하지 않도록...
2) 하나의 실험만 가능
구글 플레이 스토어는 최대 5개의 현지화 실험을 동시에 진행할 수 있다. 앱스토어는 딱 하나만 진행할 수 있다.
구글 플레이 스토어의 5개 실험도, 서로 다른 국가(언어)로 5개를 구성해야 했다. 가령 미국(영어)에 대해 스크린샷, 아이콘 실험을 서로 다른 실험 2개로 진행할 수 없다. 그 점이 내심 아쉬웠는데, 앱스토어는 아예 2개 이상의 실험을 세팅할 수가 없다.
그 외에 알아두면 좋을 한계점
PPO 실험은 OS 15 이상인 유저들에게만 적용된다. 유저의 OS 버전 분포에 따라 유용하지 않을 수도 있다.
아이콘 실험을 하려면 Xcode13 이상 버전으로 빌드를 하고 있어야 한다. 알라미는 다행히 그러했다.
사실 지금도 제일 어려운 부분은 아직 국내에서 활발히 사용되고 있지 않다보니, 참고할만한 선례가 부족하다는 (거의 없다는) 점이다. 인터페이스내 번역이 투박한 점 (ex. '실험군'의 이름 = '처리'), 전체 여정 내에서 오해의 소지를 낳는 지점들이 존재한다는 점도 어려운 부분 중 하나이다. 그럼에도 불구하고, 명확한 레슨을 쌓을 수 있는 실험 모듈이 생겼다는 것 자체가 무척이나 설레고 즐겁다. 실험 입장에서 시간은 곧 자산인만큼 일단은 투박하더라도 빠르게 실행해봄직한 가설을 위주로 실험을 돌려보고 있다. 인사이트를 꼽는 '분석' 기능에 있어서도 플레이스토어와 어떠한 차이점이 있는지 후속 글들에서 구체적인 사례를 기반으로 적어보려 한다.
그러던 와중에 어제 세팅한 앱 미리보기 실험이 뜻대로 진행되질 못하였다.
위 상태로 반나절 이상 있었다. 업로드 되어 처리 중..
겨우 원인을 찾아 해결하고 제출했는데, 해결되지 않은 문제가 발견되어 리젝 당했다.짧지만 굵은 레슨이 많았던 어제 !
그래서 다음 편은,
