03화 개발 초기, 품질을 위해 집중한 것들
Risk Based Testing
개발사 입사 당시 첫 QA 빌드 배포 예정이었고, 이전까지 어떠한 QA 활동도 없었다. QA 활동에 필요한 산출물 준비가 안된 상태였기에 해야 할 일은 많았다. 그중에서 경험상 가장 시급하다고 판단한 7가지 업무를 진행하였다.
서비스 분석
가장 먼저 서비스 분석을 진행했다. 기획서 없이 인게임 기준으로 분석했다. 아웃소싱에서는 인게임 기준 분석이 일상이었다. APK와 IPA만 전달받고 모든 QA 활동을 진행해달라는 요구에 익숙한 나로선 어려움이 없었다. 경험 기반으로 모든 콘텐츠를 살펴봤고 이펙트와 같은 연출적인 그래픽 요소를 제외한 모든 기능 동작 플로우를 파악했다. 게임 QA는 담당 서비스를 가장 잘 알아야 하는 부서이다. 기능 간의 상호작용과 연출적인 부분에서 발생하는 버그를 찾아내기 위해서다. 따라서 기능 동작의 최신 상태를 추적 및 관리해야 한다. 그러므로 개발사 QA와 기획팀과의 협업은 품질 보증 활동에 있어서 중요하다. 기획팀과의 긴밀한 소통과 협업은 담당 서비스 분석의 퀄리티를 높여줄 것이다.
공통 테스트 템플릿
어떠한 QA 활동도 없었기에 품질 보증 활동에 필요한 산출물이 없었다.가장 시급한 테스트 케이스와 체크리스트 및 결과 리포팅 문서 폼을 제작했다. 경험상 재사용 가능한 템플릿은 테스트 준비 리소스 절약에 큰 도움이 되었다. 구글 드라이브에 버전별로 재사용할 템플릿을 관리했다.
리그레션 테스트 및 BAT
배포 빌드 기준으로 리그레션 및 BAT 체크리스트를 준비했다. 리그레션은 재사용 및 유지 보수 필요한 테스트 종류이다. 따라서 초기 작성에 많은 노력을 기울였다. 테스트 케이스로 작성하지 않은 가장 큰 이유는 당시 난 경험 기반 기법 활용이 가능했었고, 다수의 테스터가 협업하는 상황이 아니었다. 명세 기반 기법 설계 중심의 테스트 케이스 진행보단 빠른 실행 중심의 체크리스트 방식으로 구성했다.
호환성
호환성 검증은 게임 출시 전 중요하다. 호환성 검증에 필요한 체크리스트를 준비했다. 사내 테스트 단말기 부족으로 테스트베드에서 스마트폰을 대여했다. 최신 기종을 1순위로 그 외 특이 해상도 및 타깃 국가 디바이스 점유율 기준으로 검증했으며, 호환성 검증 또한 아웃소싱 QA 경험으로 설계 및 수행에 큰 도움이 되었다.
비기능-클라이언트 성능 및 네트워크 레이턴시 문제 이슈화
당시 FPS 이슈가 있었다.1:1 PVP 게임 특성 및 챔피언 조작이라는 컨트롤 요소가 있는 게임에 FPS 이슈는 치명적이었다. 최신 기종에서는 큰 문제가 없었지만, 비교적 성능이 낮은 단말기에선 10에서 20을 유지할 정도로 플레이가 힘든 수준이었다. 이슈 제기한 부분은 움직임이 매끄럽지 못함으로 인한 사용자 피로도와, 필드에 소환된 유닛 개체수가 많아질 경우 급격히 낮아지는 FPS로 챔피언 컨트롤에 영향을 끼쳐 승패가 결정될 수 있다는 점이었다. 해당 문제는 지속 관리되었고 기술적 보완이 진행되었다.
신규 업데이트 준비
리그레션 테스트는 체크리스트로 진행하되 신규 업데이트 스펙은 테스트 케이스로 진행했다. 기획팀과의 협업이 매끄러웠고 테스트 준비 및 수행 기간 확보가 가능했던 조직이었다. 또한 명세 기반 기법 진행이 가능한 수준의 기획서가 배포되었기에 테스트 케이스 진행이 적절했다. 기획서가 배포되면 기획 리뷰를 통한 요구사항을 분석했고 분석 결과를 토대로 테스트 케이스를 작성했다. 테스트 기법은경곗값 분석과 동등 분할 및 페어 와이즈를 활용했다.
빌드 업데이트 및 패치 테스트 커버리지 분리
빌드 업데이트에서 사용할 테스트 커버리지와, 핫픽스 등 서버 패치로 사용할 테스트 커버리지를 분리했다. 수정 변경 내역이 많지 않은 상황에서 많은 시간이 소요되는 테스트 커버리지를 수행하기엔 효율적이지 못하다는 판단이었다.
여기까지가 론칭 초기까지 집중했던 업무이자 중요했던 업무였다. 소규모 QA팀인지라 신규 업데이트 준비와 리그레션 및 BAT 유지보수에 대부분 시간을 사용했다. QA 기간이 끝나면 전사 메일로 QA 결과 확인 가능토록 결과 리포팅 및 다음 차수 계획을 회신하였다. 그렇게 차츰 개발 프로세스 안에 QA 프로세스가 만들어지기 시작했다.
