FUN QA
Data is the new QA Tool
FUN QA
한국에만 있는 독특한 QA
Game QA에만 있는 개념
정의와 측정 불가능한 주관적인 항목
헤비 유저 운영 모니터링
특정 장르에 조예가 깊은 사람
엔드 콘텐츠를 즐겨하시는 분
게임을 좋아하시는 분
부정적인 시선도. QA 커리어의 목표로 삼는 시선도 있습니다.
정량화된 프로세스도, 명확한 정의도 없는 매우 어려운 부분입니다.
도대체 FUN QA는 뭘까요?
아니. 그 이전에 FUN 하다는 것의 형식적인 의미는 무엇일까요?
fun
1. 재미(를 주는 것) 2. 장난 3. 재미있는, 즐거운
말 그대로 재미. 사람의 감정입니다.
인종, 연령, 나이, 성별, 성향, 취향, 경험 등 100명의 사람이 있다면 100명 모두에게 FUN의 의미는 다를 것입니다. 이러한 사람의 감정을 정량화된 프로세스로 체크하고 정의를 내린다는 것은 어쩌면 당연히 불가능한 항목일 듯합니다. 우리는 불가능에서 답을 찾아야 하는 걸까요? 늘 그랬듯이?
게임과 재미는 무엇일까요? 왜 사람은 게임에서 재미를 찾으려고 할까요?
게임은 단순한 여가생활. 또는 놀잇감일까요?
본인은 지극히 개인적인 관점에서 게임을 '종합 예술 작품'이라 정의하고 테스트를 하고 있습니다.
그래픽으로 표현되는 미술, 사운드로 전달되는 음악, 그리고 다양한 선택이 가능한 방대하고 매력적인 스토리.
이를 한데 모아서 유저가 직접 컨트롤하고 그에 따른 결과를 즉각적으로 받을 수 있는 '게임'은 이 지구 상에 유일한 종합 예술 작품이 아닐까 합니다.
음악은 이제 단순히 듣는 것을 넘어 보고 듣는 뮤직비디오가 되었습니다.
사람들은 이제 정보 검색을 위해 검색엔진이 아닌 유튜브를 사용하는 시대입니다.
문학 또한 이제는 글과 함께 그림이 제공되는 웹 소설과 같은 장르도 생겨났습니다.
순수 문학과 음악이 구 시대 산물을 의미하는 절대 아니며, 뮤직 비디오나 웹 소설과 같이 빠르게 소비되는 작품들에 대한 변론 또한 아닙니다.
사람들의 취향은 점점 더 복합적이고 다양해지고 있습니다.
그리고 그 정점에는 게임이 있지 않을까? 하는 생각을 해 봅니다.
이제 다시 게임으로 돌아와 이를 플레이하는 유저들의 목표에 대해 생각해 봅니다.
목표는 어찌 보면 그 게임의 장르로 이야기할 수 있을 듯합니다.
FPS와 AOS 장르는 게임을 통해 다른 유저들과의 경쟁을 즐기고 경쟁에서 승리를 통해 성취감을 재미로 환원받을 수 있습니다.
한 편의 긴 스토리를 기반으로 한 상상력에서 오는 재미를 원하는 유저들은 RPG와 같은 게임을 플레이합니다.
게임성과 관련하여 많은 논란이 되는 이른바 '자동사냥', '오토 껨'과 같은 모바일 RPG의 실질 적 장르는 시뮬레이션이라고 할 수도 있겠습니다.
이러한 게임은 유저가 계산을 통해 준비한 본인의 설정 값(일반적으로 팀 또는 덱 구성) 이 게임 내 장벽(스테이지, 던전)의 통과 여부를 확인하는 과정에서 오는 재미를 제공합니다.
샌드박스 게임의 경우 시공간의 제약 없이 무언가를 만드는 과정에서 오는 재미를 찾을 수 있습니다.
그리고 이렇게 다양한 장르의 재미를 복합적으로 제공하는 게임은 MMORPG라고 할 수도 있겠습니다.
또는, 단순하게 반복적인 전투와 아이템 파밍에서 재미를 찾는 사람도 있습니다.
이처럼 매우 다양한 장르에서 다양한 사람들에게 복합적인 감각을 제공하는 게임의 FUN 함을 측정이 불가능한 것은 어찌 보면 당연한 것이라는 생각도 듭니다.
간절히 답을 찾고 싶지만 답을 찾을 수 없는 느낌입니다.
이처럼 불가능해 보이는 항목을 측정하고 개선 의견을 전달해야 함과 동시에 FUN QA는 본인이 제시하는 의견에 의구심을 가집니다.
'감성적인 부분을 어떻게 설명할 수 있을까?'
'단순히 테스터 본인이 선호하는 스타일은 아닐까?'
'좀 더 설득력 있는 주장을 제공할 수 없을까?'
이러한 의구심을 조금이나마 해소해 보기 위해서 FUN QA에 데이터를 사용해 보려고 합니다.
'Data is the new oil'
최근 업계의 큰 화두는 바로 데이터입니다.
어쩌면 최근이 아니라 이미 데이터는 기본 소양이 되었으며, IT 분야를 넘어 일상생활에서도 데이터의 활용은 매우 자연스럽고 당연한 것이 되었습니다.
그렇다면 우리는 이러한 데이터를 테스트에 어떻게 사용할 수 있을까요?
한 게임에서 유저에게 또 다른 성장의 재미를 제공하기 위해 새로운 아이템을 업데이트 예정입니다.
해당 아이템의 기획상 특징은 아래와 같습니다.
이러한 아이템을 QA는 어떻게 테스트할까요?
유저 행동 흐름을 기준으로 기능과 관련하여 진행되는 테스트를 생각해 보았습니다.
1. 몬스터 처치 후 드롭 여부(확률 테스트 포함)
2. 드롭된 아이템의 옵션 부여 확인(확률 테스트 포함)
3. 아이템의 인벤토리 저장 확인(슬롯 노출 및 스택 불가능)
4. 인벤토리 내 아이템 사용 - 무기 장착 확인
5. 장착된 아이템의 능력치 적용 여부 확인
6. 그 외 아이템의 이미지 등 해당 게임에서 아이템에 일괄적으로 적용하는 테스트 수행
위와 같은 항목들의 테스트를 수행한다면 해당 아이템의 기능적인 측면의 확인은 가능합니다.
그렇다면 우리는 이러한 기능 외 어떠한 부분에서 FUN QA를 진행해 볼 수 있을까요?
QA는 해당 아이템의 테스트를 위해 직접 몬스터와 전투를 진행 결과 한 시간 동안 몬스터와 전투 진행 시 평균 50개의 아이템을 획득하였습니다.
(자동 전투가 지원되는 게임이라면 해당 기능을 이용할 수 있으며 그렇지 않은 경우 QE는 시뮬레이션 Scene을 제작하여 수행 또는, 확률 시뮬레이터 제작 및 활용 등 다양한 테스트 방법으로 수행이 가능함)
이후 QA는 이 아이템의 획득 수량에 대한 FUN QA를 진행하기 위해 아래와 같은 추가적인 데이터를 확보합니다.
1. 라이브 유저의 평균 인벤토리 슬롯 보유 현황
2. 라이브 유저의 평균 전투 시간(사냥 시작 및 종료)
확인 결과 평균 인벤토리 슬롯 보유 현황은 250/300으로 확인되었으며, 평균 사냥 시간은 두 시간이었습니다.
이제 이 아이템이 그대로 라이브에 적용된다면 어떠한 현상이 발생할까요?
신규 아이템 업데이트 후 일시적으로 기획 단계에서 기대했던 새로운 성장의 재미가 제공되겠지만, 이와 동시에 유저들의 전투 시간은 절반으로 줄어들게 됩니다. 왜일까요?
업데이트 이후 한 시간 전투를 진행하면 인벤토리가 꽉 차서 슬롯이 부족하게 되어 유저는 한 시간마다 인벤토리에 습득된 아이템을 확인 후 해당 아이템들을 처리해야 합니다.
업데이트된 아이템을 포함하여 기존 아이템 드롭까지 고려한다면 계산한다면 한 시간이 아니라 심하면 십 분마다 인벤토리를 확인하고 사냥을 중지해야 하는 상황이 생길 수 있고 이로 인하여 해당 게임의 핵심 콘텐츠인 전투에서 오는 재미는 반감되게 됩니다.
아이템 드롭이 많이 되면 재밌는 거 아닌가?라고 생각할 수 있습니다.
맞습니다. 아이템 획득은 전투의 목적과 재미 요소중 하나 일 수 있지만 이 재미가 다른 재미를 반감시키는 결과를 가져올 수 있는 상태입니다.
추가적으로 이러한 상황에서 인벤토리 확장, 아이템 자동 판매와 같은 기능을 IAP로 판매하고 있다면 재미를 넘어서 감정적인 부분까지도 안 좋은 영향과 경험이 생기게 될 수 있습니다.
데이터를 활용하는 위의 예시를 통해 FUN QA에 대한 답을 조금 찾은 듯합니다.
테스트 데이터와 라이브 데이터를 결합하여 재미를 반감할 수 있는 항목을 찾았습니다.
오랜 시간 ‘프로젝트의 초기 단계부터 테스트를 진행하여 사전에 버그를 차단한다.’라는 논리를 기반으로 QA가 기획 리뷰에 참여하면서 많은 기획적 버그를 사전에 차단하고 퀄리티 상승을 이끌어 왔습니다.
이러한 노력의 결과 QA의 기획 리뷰는 개발 프로세스 자연스럽게 스며들었습니다.
Data is the new QA Tool!
최근에 게임을 포함하여 앱 및 웹 등 주요 개발 과정에서 데이터 설계와 운영 과정에서 데이터의 수집 및 활용은 해당 프로덕트의 분석 및 의사 결정의 핵심 요소로 상당히 중요한 역할을 수행하고 있습니다.
이 과정에서 QA는 데이터 설계를 리뷰하고 데이터 수집 과정 테스트를 수행하고 있습니다. 이 과정에서 FUN QA에 활용 가능한 항목을 추가로 제시하고 있습니다. 이후 제시된 의견은 설계에 반영됩니다.
데이터가 화두가 되기 이전부터 많은 FUN QA팀은 지표 분석을 업무에 적용하고 있었습니다.
이제는 단순히 제공되는 지표의 분석을 넘어 FUN QA를 위한 지표와 데이터 설계를 주도하고 있는 추세입니다.
이렇게 FUN QA는 새로운 테스트 도구로 데이터를 활용하고 있습니다.
