업데이트 설문 작성 02. 설문 수집 및 분석하는 법
반복되는 업데이트, 효과적으로 데이터를 수집하고 분석하기.
이런 분이 읽으시면 좋습니다!
주기적인 콘텐츠 업데이트에 대한 설문을 진행하고 싶으신 분
설문 조사를 통한 유저 리서치를 자주 진행하시는 분
설문 조사를 효율적이고 효과적으로 운영하는 방법에 대해 관심이 있으신 분
들어가며
지난 아티클에서는 업데이트 설문을 효과적으로 설계하는 방법에 대해 알아보았습니다.
설문 설계가 완료 되었다면 이제는 가능한 많은, 신뢰할 수 있는 데이터를 수집하고 분석할 차례입니다.
저희 팀에서는 데이터 수집에 있어서도
1) 설문이 타겟 유저에게 잘 도달 할 수 있는지
2) 자연스러운 맥락에서 피로감을 많이 유발시키지 않고 데이터 수집이 가능한 지
3) 성실한 주관식 내용을 받을 수 있는 지
등 에 대한 고민을 거치고는 합니다.
데이터 분석 시에는 가능한 풍부한 인사이트를 전달하고자 다양한 관점에서 분석을 시도하는데요, 본문에서 보다 자세히 다뤄보도록 하겠습니다!
설문 수집은 링크를 그냥 뿌리면 되는 것 아닌가요?
저도 게임UX분석 팀에 합류하기 전 실무에서 설문을 진행할 때 설문 수집은 운의 영역이라고 생각했던 적이 있었던 것 같습니다.
가능한 많은 채널에 설문 링크를 올리고, 친구의 친구를 동원해 단톡방에 링크를 뿌리고, 설문 기한 내에 많은 응답이 들어오기만을 바랬던 것이죠.
그러나 설문 결과의 신뢰도를 높이기 위해서는 많은 양의 응답을 받는 것도 중요하지만 무엇보다 타겟 유저로부터 성실한 응답을 받는 것이 가장 중요합니다.
1) 언제 노출해야 하나요?
설문의 성격에 따라 타겟으로 하는 유저가 다를 수 있습니다.
가령 게임 초반의 경험과 관련된 설문인 경우 플레이 시간이 얼마 되지 않은 유저가 설문 대상이 되지만, 고레벨 콘텐츠 검증이 필요한 경우에는 충분한 플레이 경험을 갖춘 유저가 설문 대상이 되는 것이죠.
그렇기 때문에 일반적으로 게임의 경우 최소 경험 수준 보장을 위해 설문에서 검증하기 위한 내용을 충분히 유저들이 경험할 시간을 확보하고, 적합한 시점에 설문을 노출하는 것이 중요합니다.
이를 위해 할 수 있는 가장 기본적인 방법은 다음과 같이 설문 안내에 권장 플레이 시간을 언급하는 것입니다.
그리고 플레이 권장 시간이 정말 중요한 경우 설문 초입에 문항으로 다시 한 번 삽입해 권장 플레이 시간을 채우지 않은 유저는 설문이 종료되도록 유도하고 있습니다.
이 외에도 필요에 따라 장기 플레이 경험이 필수적인 설문의 경우 응답자의 로그 데이터를 크로스 체크 하기도 합니다.
모든 응답자에게 하기 보다 불성실 응답자의 ID를 활용해 게임 로그 데이터를 확인하고, 권장 플레이 시간을 채운 후 설문에 참여하는지 확인하는 용도로 활용하고 있습니다.
업데이트 설문의 경우 업데이트 된 콘텐츠를 충분히 경험한 유저가 설문의 타겟 유저라고 볼 수 있습니다.
업데이트 직후 설문을 노출하게 되면 아직 업데이트된 내용을 경험 하지 못한 유저들이 설문을 진행하지 않고 이탈하거나, 잘 응답할 수 없는 문항에 대해 불성실하게 응답해 신뢰도를 저하시킬 수 있습니다.
그렇기 때문에 게임 업데이트 설문의 경우 업데이트 완료 후부터 1주일이 지난 시점에 업데이트 설문의 노출을 시작하고, 충분히 많은 유저들이 참여할 수 있도록 약 1주일간 설문 기간을 지속합니다.
2) 어떻게 노출해야 하나요?
설문을 진행하는 시점도 중요하지만 어디에 노출하는지도 수집되는 데이터의 양과 퀄리티에 영향을 미칠 수 있습니다.
업데이트 설문의 경우, 유저들이 게임을 플레이 한 후 종료하기 전 설문 팝업을 제시해 자연스러운 흐름에서 설문에 참여하도록 유도하고 있습니다.
게임 플레이 직후 설문에 참여하게 되면 플레이했던 내용을 상기 시키기도 수월하기 때문이죠.
그러나 이 경우에도 팝업을 너무 자주 노출하게 된다면 유저에게 피로감을 유발해 이 또한 불성실 응답과 같은 경향으로 설문 결과에 영향을 끼질 수 있습니다.
그렇기 때문에 설문 팝업도 적절한 빈도로 조절해 노출하는 것이 중요합니다.
게임의 특성상 유저와의 접점이 다양한 채널에서 발생되는데요, 이를 활용해 설문 노출을 증대시키고 응답 수집량을 확장시킬 수 있습니다.
우선 게임 내 인게임 이벤트 배너나 롤링 메시지등을 활용해 설문을 홍보할 수 있습니다.
배너 클릭 시 설문 페이지로 이동하도록 설계한다면 보다 자연스럽게 설문 응답을 유도할 수 있지만 별도 배너 디자인 및 개발 리소스가 필요하다는 단점이 있습니다.
또한 게임 홈페이지 공지글 또는 트위치 채널에 설문 링크를 업로드해 설문 홍보를 극대화하는 방법도 있습니다.
간혹 설문 보상이 매력적인 경우에 유저분들이 자발적으로 설문 홍보를 디스코드와 같은 커뮤니티에서 진행해주시는 경우도 있는데 설문 응답량 증대에 매우 효과적이었습니다.
3) 어떻게 성실한 응답을 이끌어낼 수 있나요?
특히 업데이트 설문과 같은 대규모의 설문의 경우 성실한 주관식 응답을 이끌어 내는 것은 어렵게 느껴질 수 있습니다.
하지만 주관식 데이터를 통해 유저 반응의 맥락과 이유를 알아낼 수 있기 때문에 분석가에게는 아주 중요한 데이터이죠.
설계와 관련된 내용이기는 하지만, 주관식 문항 설계 시에는 해당 경험을 충분히 상기 시키기 위해 관련 객관식 문항을 먼저 물어본 뒤에 주관식으로 의견을 물어보는 것이 도움이 됩니다.
가령 그래픽과 관련된 상세 이슈를 파악하기 위해 주관식 문항이 필요하다고 가정해 봅시다.
이 경우 우선적으로 그래픽에 대한 만족도, 그래픽 요소별 만족도 등 그래픽과 관련된 객관식 문항들을 배치해 응답자가 게임의 그래픽을 상기하는 경험을 제공합니다.
그러고 난 후 구체적으로 그래픽에 대해 불만족스러웠던 부분 등에 대한 주관식 응답을 받는다면 응답자도 보다 수월하게 답변을 작성할 수 있겠죠.
또한 성실 응답수를 확보하기 위해 저희는 성실 응답자에게 보상을 제공하는 방식을 채택하고 있습니다.
설문의 길이와 상황에 따라 보상의 크기나 종류도 달라지지만, 가장 중요한 점은 설문 안내에서 성실 응답자에게 보상을 지급한다고 명시하는 점입니다.
당연하고 간단한 방법인것 같지만 성실 응답 보상 제공 방식은 가장 효과적인 방법중에 하나입니다.
어떻게 설문 결과를 더 풍부하게 제공할 수 있을까요?
한정된 수집 데이터의 결과를 어떻게 더 풍부하게 제공할 수 있을까요?
업데이트 설문을 진행하는 배경과 맥락에 대해 생각하다 보면 그 힌트를 얻을 수 있습니다.
1) 이전 업데이트 경험 결과와의 차이 분석
업데이트 설문의 경우 주기적으로 같거나 비슷한 문항에 대해 설문을 진행한다는 특징이 있습니다.
그렇기 때문에 이전에 진행한 설문의 결과와 비교하며 이전 업데이트 대비 현재 업데이트의 반응을 파악할 수 있습니다.
이전 업데이트 결과와 비교 가능한 부분으로는 전반 만족도 뿐 아니라 편의성, 이벤트 반응 등 세부 요소로 나누어 어떤 업데이트가 어떤 반응을 불러오는지 면밀히 살필 수 있습니다.
또한 업데이트 설문 내용을 해석할 때 유의할 점으로는 업데이트 설문의 결과 (만족도)를 절대적인 값으로 해석하기엔 어렵다는 점입니다.
업데이트 진행 시 당시의 운영 이슈, 이벤트 등 다양한 요소에 따라 업데이트 당시의 만족도에 영향을 미치게 됩니다.
따라서 업데이트 설문은 개별적으로 절대적인 점수로 평가하기보다 전체 평균의 추이와 점수에 영향을 주는 세부 이슈를 면밀히 파악하는 방식으로 분석하는 것이 바람직 합니다.
2) 세그먼트별 분석
또한 유저의 그룹을 세그먼트별로 나누어 분석하면 의미 있는 차이를 보이는 경우가 있습니다.
특히 게임의 경우 유저의 플레이 경험 레벨에 따라 게임 이용 행태에 큰 차이를 나타냅니다.
예를 들어 신규 유저의 경우 게임 초반 콘텐츠의 경험만 있는 반면, 고관여 (헤비)유저의 경우 게임 내 패턴과 시스템에 익숙하기 때문에 같은 콘텐츠라고 하더라도 이 두 그룹의 만족 또는 불만족 포인트가 다르게 나타나게 됩니다.
설문으로 도출 되는 이슈 내용의 경우에도 유저 세그먼트에 따라 깊이가 다르게 나타나기 때문에 유의미한 인사이트 도출을 위해서 세그먼트 그룹을 기준으로 심화된 분석이 필요합니다.
저희가 주로 사용하는 유저 세그먼트는 신규/복귀 유저, 저관여(라이트)/고관여(헤비) 유저 등이 있습니다.
세그먼트를 나누는 기준은 게임과 상황에 따라 게임 개발/사업팀과 협의해 정의하게 되며, 협의 과정에서 게임팀에서 주요하게 생각하는 세그먼트 위주로 분석을 진행하기도 합니다.
세그먼트를 나눌 때는 설문 데이터 뿐 아니라 자체적으로 보유하고 있는 인게임 데이터를 주로 활용하게 됩니다.
테스트 데이터와 로그 데이터를 함께 분석에 활용하게 되면 더욱 해상도가 높고 실제 서비스 개선으로 연결될 수 있는 인사이트를 도출할 수 있다는 장점이 있습니다.
에필로그
이처럼 설문에 대한 고민은 설계에서 그치는 것이 아니라 어떻게 배포하고 수집할 것이며 결과를 어떻게 표현할 지에 걸쳐 나타나고는 합니다.
깊이 있는 고민을 거친 만큼 신뢰할 수 있는 인사이트를 많이 발굴 하실 수 있는 기회가 되실 거라 기대합니다!
게임UX분석팀에서는 게이머의 심리를 알고 싶어 다양한 분석 방법에 대해 연구하고 있으며, 이와 같은 콘텐츠가 앞으로도 계속 연재될 예정입니다.
작성 : 게임UX분석팀 (il_ux_game@nexon.co.kr)
이 외에도 넥슨코리아 인텔리전스랩스와 관련한 다양한 소식을 확인할 수 있습니다! :)
넥슨코리아 인텔리전스랩스 UX실에서는 구체적으로 어떤 일을 하나요?
인텔리전스랩스는 넥슨이 서비스하는 게임의 모든 데이터를 분석하여 유저에게 최적화된 경험을 제공하고, 이를 통해 최고의 즐거움을 선사할 수 있는 시스템을 설계하는 조직이에요. 그 중 UX실이 어떤 일을 하는지 궁금하다면 아래 링크를 클릭해 주세요!
오늘도 인텔리전스랩스에서는 플레이어가 게임을 재미있게 즐길 수 있도록 다양한 연구를 진행 중입니다.
