<퍼스트 버서커: 카잔> FGT 사례
이런 분이 읽으시면 좋습니다!
게임업계에서 진행하는 FGT에 대해 궁금하신 분
<퍼스트 버서커: 카잔>의 비하인드 스토리가 궁금하신 분
들어가며
예전에 밸브의 플레이테스트에 대한 영상을 소개하는 아티클(밸브의 플레이테스트 문화)을 통해 게임 개발 과정에서 진행하는 테스트의 중요성에 대해 이야기한 적이 있습니다.
최근 UX분석실에서 진행한 테스트 중 좋은 사례로 소개할 만한 테스트가 있어 소개드리려 합니다. 바로 지난 2월과 5월에 진행한 <퍼스트 버서커: 카잔>의 FGT입니다.
*<퍼스트 버서커: 카잔>은?
<퍼스트 버서커: 카잔(이하 <카잔>)>은 네오플에서 개발하고 넥슨에서 유통할 예정인, 하드코어 액션 RPG 게임입니다. ‘던전앤파이터’ 세계관 속에서 대장군이었으나 반역의 누명을 쓰고 죽음의 위기에 처한 ‘카잔’이 되어 강력한 적들과 싸워나갑니다. 높은 난이도의 보스 전투가 특징적인 게임입니다.
<퍼스트 버서커: 카잔> 소개 트레일러 보러가기(클릭하면 유튜브로 이동합니다)
*FGT(Focus Group Test)란?
게임업계 밖에서는 FGT가 생소한 용어인 것으로 알고 있습니다. FGT는 간단히 말해 '게임의 잠재 유저가 실제로 게임을 플레이해보도록 한 후 게임 경험을 데이터로 남기는 테스트'라고 할 수 있겠습니다. 게임업계에서는 게임 기획자 주도로 당사자가 아닌 사람들을 초대해 게임을 플레이해봄으로써 반응을 확인하는 플레이테스트(Playtest)라는 검증 방식이 있습니다. 예전에는 주변 지인이나 가족을 부르는 등 주변에서 쉽게 찾을 수 있는 외부인을 초대하는 경우가 많았고, 개발자들이 등 뒤에서 관찰하는 경우도 많았다고 합니다. 현재는 UX 리서처나 전문업체가 게임의 잠재적 고객이 될 만한 사람을 모집하고, 개발진이 직접 보지 않는 상황에서 다른 영향을 받지 않고 플레이를 할 수 있게 하는 등 더 체계화가 되었습니다. 영어권에서는 여전히 '플레이테스트'가 보편적인 용어이지만 국내에서는 좀 더 체계적인 모객 및 진행이 강조된 FGT가 일반적인 용어입니다.
FGT에서는 1) 테스트의 목적에 적합한 유저 모객 2) 다른 영향 없이, 실제 게임 경험에 가까운 게임플레이 3) 설문조사, 인터뷰 등을 통한 왜곡 없는 경험 데이터 수집이 중요합니다.
1. 본질적인 목적을 잘 살린 테스트
<카잔>의 FGT가 성공적이었다고 생각한 이유는 이 테스트가 제품의 특성과 개발 상황에 맞게 분명한 목적을 갖고 거기에 집중한 테스트였기 때문입니다.
일반적인 앱 서비스의 경우 테스트를 진행할 때 초반 경험의 비중이 큰 편입니다. 초반에 유저가 길을 잃을 경우 언제든 서비스를 떠날 수 있기 때문인데요. 사실 무료 플레이 게임의 경우에도 유저가 초반에 떠날 확률이 꽤 높기 때문에, 테스트 때도 초반 온보딩 경험을 확인하는 비중을 높게 잡는 편입니다.
<카잔>의 경우 넥슨의 민트로켓에서 출시한 <데이브 더 다이버>처럼 패키지를 구매하는 싱글플레이 게임입니다. 높은 난이도의 게임인 만큼 확실한 플레이어층을 보유하고 있는데요. 이러한 게임에 관심이 있는 사람들은 기존 <다크소울> 시리즈나 <엘든 링>, <세키로>처럼 난이도 높은 액션 게임을 즐겼을 확률이 높고, 이런 게임에서는 무엇보다 보스 전투의 재미가 게임에 대한 평가에 큰 영향을 미칠 가능성이 큽니다. 이 때문에 <카잔>의 테스트 역시 다른 테스트에서 많이 사용하는 문항들보다 이 게임의 특징에 맞는 문항들을 사용하려 했습니다. 비중이 적은 부분은 다소 문항을 줄이되, 중요한 요소들에서는 기존에 사용하던 것보다 훨씬 구체적인 문항을 사용했습니다.
이렇게 구체적으로 설문을 준비하는 데에는 네오플의 개발팀이 많은 역할을 해주셨습니다. UX분석실에서도 게임을 플레이해 보며 게임의 특성에 맞게 설문을 준비하려 노력하지만, 계속해서 게임을 만들어온 개발팀에 비해서는 게임에 대한 이해도가 부족할 수밖에 없습니다. 또 게임의 여러 요소들을 만들 때 들어간 의도 역시 개발팀만이 알 수 있는 내용입니다. <카잔>의 경우 네오플의 개발팀과 넥슨의 사업/마케팅팀에서 테스트에 많은 관심을 쏟고, 테스트에서 확인하고 싶은 부분에 대해 상세하고 적극적으로 소통했기 때문에 <카잔>의 특징에 맞는 테스트를 성공적으로 준비할 수 있었습니다.
성공적인 테스트를 위한 협업팀의 적극적인 소통과 관심은 테스트 결과를 확인하고 반영하는 단계에도 이어졌습니다. 개발 담당자들이 테스트 후 녹화 영상과 설문 응답을 통해 유저의 플레이가 개발 의도와 얼마나 비슷하거나 달랐는지 확인하고, 인사이트와 개선점을 논의했습니다. 이렇게 보고서에는 전부 담을 수 없는 구체적인 플레이를 다양한 방식으로 눈에 담으면서 플레이어에게 얼마나 기획 의도가 전달되었는지 확인했다는 점에서 <카잔> FGT는 성공적이었다고 할 수 있습니다.
2. 반복적인 테스트를 통한 경험 개선
이러한 관찰을 통해 여기서 발견된 개선점을 반영하고 콘텐츠를 추가한 버전으로 2차 FGT를 진행했습니다. 1차 FGT가 2월, 2차 FGT는 5월에 진행했으니 약 3달 간의 간격이 있는 셈입니다. 사실 석 달의 간격으로 테스트를 진행하는 경우는 흔치 않습니다.
하지만 이렇게 몇 달 간의 간격으로 테스트를 진행하면 확실한 장점이 있는데요. 기존 테스트에서 변경된 부분이 명확하고 따라서 개선의 효과를 훨씬 효과적으로 확인할 수 있다는 것입니다.
1차 FGT를 통해 개발팀에서는 많은 개선 포인트를 찾고, 이를 이후 개발에 반영했습니다. 1차 FGT 이후 수백 건에 달하는 변경 사항을 리스트로 받았을 정도입니다.
2차 FGT는 1차 FGT에서 진행한 영역과 함께 새로 추가된 콘텐츠를 플레이할 수 있는 구조였습니다. 따라서 1차 FGT에 포함되었던 부분에서는 개선한 부분이 실제로 얼마나 효과가 있었는지 확인하고, 새로 추가된 부분에서는 1차와 비슷한 포인트를 갖고 경험을 확인할 수 있었습니다.
이렇게 진행했을 때 가장 이상적인 결과는 이를 통해 해당 부분뿐 아니라, 다른 곳에도 적용할 수 있는 인사이트를 얻는 것이라고 생각합니다. 지난 번 테스트에서 발견한 개선점을 반영했을 때 게임 플레이 경험이 어떻게 바뀌는지를 보면서, 새롭게 개발하거나 개선하는 부분에 대해서도 힌트를 얻는 것입니다. 반복적인 테스트는 개선의 결과를 실제로 확인하고, 제품을 유저 입장에서 생각할 수 있는 기반을 만들어줍니다.
3. 오랜 기간의 테스트를 통한 디테일한 경험 확인
<카잔> FGT는 1차에서 8시간씩 3일간, 2차에서는 8시간씩 5일간 진행하는 장기간의 테스트였습니다. 오프라인 테스트를 진행할 때는 일반적으로 하루 4~5시간 이상 테스트를 지양하는 편인데요. 피로도가 높아질수록 게임에 대한 집중도가 떨어지고 그에 따라 건강한 피드백을 받지 못할 우려가 있기 때문입니다. 또한 테스트 참여자들이 며칠 간의 일정 동안 게임을 플레이하러 와야 하기 때문에, 올 수 있는 사람이 한정되고, 그중에서 조건에 맞는 테스터를 찾기도 더 어려워집니다.
그럼에도 이와 같은 테스트가 필요했던 이유는 앞에 이야기했던 테스트의 목적과 관계가 있습니다. 하루 간의 테스트에서는 게임의 초반 경험과 게임의 핵심적인 재미를 확인하는 것이 목적입니다. 초반 온보딩 경험에서 게임에 적응하는 것이 어렵지는 않은지, 그리고 해당하는 시간 내에 게임에서 의도한 재미가 전달되는지 확인하는 것이 주된 목적입니다. 프리투플레이 게임이나 대전 게임 등은 짧은 시간 내에 게임의 재미가 전달되어야 하고, 그래서 비교적 짧은 테스트로도 충분한 경우가 많습니다. <카잔> 역시 기본적인 전투 시스템의 재미가 전달되는지, 게임에 적응하는 난이도는 어떤지 확인하는 목적이라면 하루의 테스트로도 충분했을 것입니다.
장기간의 테스트에서는 단기 테스트에서 얻을 수 없는 게임의 전체적인 경험을 확인할 수 있습니다. 초반에 경험할 수 없는 재미 요소가 게임에서 핵심적인 요소이고 꼭 확인해야 하는 경험인 경우, 장기 테스트의 필요성이 더욱 커집니다. 예를 들어 MMORPG에서 후반부의 레이드나 전쟁 등이 핵심 재미 요소인 경우, 장기 테스트가 꼭 필요할 것입니다.
<카잔>의 경우 선형적인 싱글플레이 게임이고 보스와의 전투 비중이 높은 게임의 특성상, 초반의 경험을 확인하는 것만으로는 중후반의 경험을 예상하기가 어려웠습니다. 결국 게임 전체 분량에서 몬스터나 보스와의 전투, 맵의 구성, 성장 경험 등을 전부 확인할 필요가 있었고 이 때문에 장기간의 테스트가 필요했습니다. 또한 높은 난이도인 게임의 특성상 단기간 테스트를 진행할 경우 일부 참여자들은 게임에서 정말 제한적인 경험만을 하게 될 가능성도 있었습니다. 결과적으로 게임 내 모든 미션에 대한 구체적인 피드백과 진행 속도에 대한 정보 또한 얻으면서, <카잔> 테스트는 장기간 진행한 테스트의 목적을 충실히 수행했습니다.
4. 성공적인 테스터 모집
테스트가 길어지면 참가자들이 지치기도 쉽고, 조건에 맞는 테스터를 구하기도 어렵습니다. <카잔>의 경우 장르 수요층이 비교적 명확한 편이다 보니 특히 테스트 목적에 맞는 유저들을 모집하는 것이 중요했고, 실제로도 이 부분에서 많은 고민이 있었는데요. 결과적으로 그동안 UX분석실이 쌓아온 모객 노하우와 개발진이 갖고 있는 확고하고 디테일한 게임 철학이 잘 어우러져 성공적으로 테스터를 모집할 수 있었습니다.
UX분석실은 수년간 테스트를 진행해 오면서 우수한 리크루팅 전문 업체를 많이 확보하고 있었는데요. 최근에는 넥슨에서 게임 유저들을 위한 리서치 플랫폼인 넥슨퍼스트를 런칭하면서 게임에 열정적인 유저들을 테스터로 확보하기도 더욱 수월해졌습니다.
한편, 개발진에서 유저를 모집하는 조건을 통해 개발진이 갖고 있는 게임의 방향성이 굉장히 디테일하다는 점을 느낄 수 있었습니다. 일반적으로 테스터를 모집할 때 최우선 타겟 그룹과 차선 타겟 그룹을 분류해 모집하는 방식을 많이 사용합니다. 이때 해당 장르 내에서 테스트할 게임과 유사한 게임, 그리고 덜 유사하지만 해당 장르에 속하는 게임과 같은 식으로 기준을 정하기도 하고, 최우선 타겟이 되는 장르, 그리고 차순위 타겟이 되는 장르와 같은 식으로 분류를 하기도 합니다. <카잔>의 경우 여기에 그치는 것이 아니라, 흔히 생각하기에 동일한 장르라고 여길 수 있는 게임들 사이에서도 세부적인 게임 요소를 따졌을 때 더 카잔에 어울리는 게임성을 가진 게임들을 분류하고, 이를 바탕으로 유저들을 분류하는 기준을 세웠기 때문에 지원자들의 게임 경험을 더욱 세세하게 확인하고 이를 모집에 반영할 수 있었습니다.
결과적으로 테스트 진행을 하면서 유저 모집이 성공적으로 이뤄졌다고 느낄 수 있었는데요. 먼저 테스터 그룹 간에 의견이나 진행도가 서로 비교할 수 있을 만한 차이가 나타났다는 점에서, 그룹별 분류 기준이 실제로 유의미했다는 것을 알 수 있었습니다. 또한 무엇보다 긴 시간의 테스트였음에도 불구하고 대부분의 참여자들이 마지막까지 열정적으로 테스트에 참여해 주셨던 점에서도 이 점을 느꼈는데요. 게임을 더 진행하기 위해 점심식사를 빠르게 마치고 플레이에 몰두하는 테스터들도 흔히 볼 수 있었고, 설문 하나하나에 정성과 애정이 담긴 피드백을 남겨주셨습니다.
에필로그
두 번의 테스트를 모두 준비하는 일은 굉장히 힘들었지만, UX 리서쳐의 입장에서 테스트가 의미 있게 진행되고 많은 것을 얻을 수 있었다는 느낌이 들 때만큼 기분 좋은 순간은 없습니다.
<카잔>은 두 번에 걸친 FGT를 통해 게임의 강점을 확인하고, 개선해 나가야 할 부분들을 찾아나갔습니다. 게임의 기획 의도를 확인한다는 분명한 목적이 테스트 준비 단계에서부터 반영되었고, 반복 테스트를 통해 개선 여부를 확인했으며, 장기간의 테스트를 통해 게임 전체로 그 범위를 확장할 수 있었습니다. FGT에 적합한 테스터들을 성공적으로 모집한 것 역시, 테스트가 유의미하게 진행될 수 있었던 필수적인 바탕이었습니다.
1, 2차 FGT 현장과 테스터의 인터뷰를 멋지게 담은 영상이 있으니, 생생한 모습이 궁금한 분들은 아래 링크를 통해 확인 부탁드리며 <카잔>에 대한 많은 관심 부탁드립니다!
1차 FGT 영상
<퍼스트 버서커: 카잔> 1차 FGT 테스터 인터뷰 영상 보러가기(클릭하면 유튜브로 이동합니다)
2차 FGT 영상
<퍼스트 버서커: 카잔> 2차 FGT 테스터 인터뷰 영상 보러가기(클릭하면 유튜브로 이동합니다)
