04화 리스크가 없으면 테스트도 없다

Risk Based Testing

론칭 후 본격적인 캐릭터 밸런싱 작업과 각종 대규모 업데이트가 예정되었다. 실무를 혼자서 총괄하다 보니 사실상 테스트 수행만으로 벅찼던 시기였다. 신규 QA 빌드가 배포되면 BAT와 리그레션 및 업데이트 수행도 벅찬 상황에서 확인 테스트까지 진행하려니 자연스레 잔근과 야근이 이어졌다. 사실 게임 QA로 살아오며 어쩔 수 없는 숙명과도 같은 현실로 생각했기에 크게 개의치는 않았다.

시간이 흘러 대규모 업데이트 기간이 다가왔고 보다 효율적인 테스트 전략이 필요한 시점이 찾아왔다. 문득 과거 테스트 리더 재직 당시 포스팅한 리스크 기반 테스트 전략이 떠올랐다. 독립된 3자 테스팅 조직인 아웃소싱 QA 환경에서는 리스크 기반 테스트 전략이 적절하지 않다는 내용이다.

리스크 분석에 필요한 리스크 요소중 장애 발생 가능성(likelihood)은 복잡성, 개발팀의 경험 미흡, 사용한 기술의 최신성과 난이도, 상호 연관성 등이 포함되는데, 이를 블랙박스 테스트만 수행하는 조직에서 파악하기 어렵기 때문이다. 보안상의 이슈로 기획서 조차 전달받기 힘든 3자 조직인점을 고려한다면 이 생각은 지금도 변함이 없다.

문득 떠올랐던 리스크 기반 테스트 전략. 킥오프 단계부터 품질 보증 활동이 가능했기에 시도는 어렵지 않았다. 들뜬 마음으로 리스크 기반 테스트 전략에 필요한 자료 수집과 사전 지식을 찾아보며 학습하기 시작했다.