brunch

You can make anything
by writing

C.S.Lewis

by 이지원 Oct 01. 2022

Risk Based Testing 01화 서문

게임 분야 재직 당시 활용했던 리스크 기반 테스트 전략을 되새기고, 하루에 420,000개 TC 수행이 가능했던 인공지능 테스트 자동화 서비스 매니저 직무를 회고하며, 블랙박스 테스트의 변화와 발전에 대해 생각해 보았다.

리스크 기반 테스트 전략과 같은 테스트 고도화 지식과 경험이 있거나, 24시간 365일 테스트 가능한 인공지능 Bot을 능가할 테스트 수행 능력을 갖췄거나 그렇지 않다면 블랙박스 테스트는 아무나 할 수 없는 형태로 발전할 것이다.

돌이켜보니 5년간 공백 기간 없이 커리어를 이어왔습니다. 테스터, QA라는 직업으로 20대를 시작했습니다. 최근 HBsmith Service Manager 직무를 끝으로 커리어와 관련된 모든 걸 비우고 휴식과 운동, 생각, 명상에 집중하고 있습니다. Service Manager 재직 당시 웹과 앱 서비스를 분석하여 24시간 365일 테스트 자동화 등록 업무를 담당했습니다. 퇴사 후 시간이 꽤나 흐른 줄 알았는데 1달도 안되었네요. 그러던 오늘 문득 5년간의 품질 분야 업무를 돌이켜보며 브런치 북을 쓰고 완성시키게 되었습니다.

오늘 작성하게 된 주제는 게임 분야에 적용했던 리스크 기반 테스트 전략입니다. 테스트 전략이 왜 필요할까요? 왜 리스크 기반일까요? OP(=Live)와 같은 운영 환경에서 발생하는 장애를 최소화하기 위해 QA팀은 무엇에 집중하고 있나요? 테스트 일정과 수행 인력이 부족한 상황에서 어떻게 테스트하면 좋을까요? 수행 인력이 많다면 테스트를 잘할 수 있을까요?

과거 게임 개발사 재직 당시 개발 초기부터 그랜드 론칭 후 유지보수 경험을 회고하며 다시 한번 테스트와 QA는 다른 분야임을 깨닫습니다. 테스트는 품질 보증 활동을 위한 방법 중 하나이고 리더급 포지션이 테스트 수행에 관여하는 경우는 드물죠. 수행보단 테스트 설계, 전략, 그 외 프로젝트가 적절한 방향으로 개발 중인지 킥오프 시점부터 체크하며 최종 릴리즈까지 관리하는 역할에 보다 집중합니다.

그래서인지 QA 리더급 포지션에서 커리어 전직 또는 이직 시 PM(Project Manager)으로 활동하는 경우도 있습니다. 개발 초기부터 출시까지 모든 과정들을 추적 및 관리한 경험이 도움되기 때문이죠. 특히 게임 분야 테스팅은 기능 테스트뿐 아니라 호환성, 밸런스, 구글 피처드, 앱스토어 마켓 등의 정책과 모바일 플랫폼에 대한 대응도 중요하기 때문에 테스트 수행=테스터, QA 역할이라고 단정 짓는 것은 적절하지 않습니다. 실제로 과거 신입 테스터 채용 면접관 당시, 게임 QA 직무가 테스트만(=하루 종일 게임만)하는 역할로 오해하시는 분들도 있을 만큼, 외부에서 보는 것과 실제 업무 Role은 큰 차이가 있습니다.

QA팀의 해야 할 일은 많고 단순 반복 업무 형태가 높은 기능 테스트도 중요하다 보니 QA팀의 고민은 유지보수 기간이 길어질수록 깊어져만 갑니다. 리소스 투입이 높은 기능 테스트를 어떻게 하면 효과적이고 효율적인 방향으로 이끌 수 있을까요? 효과, 효율의 추상적 개념이 아닌 지표로서 보면 좋을법한 테스트 매트릭에는 어떠한 것이 있을까요? 이러한 고민에서 시작한 게임 분야 리스크 기반 테스트 전략 사례를 공유합니다. 해당 사례는 19년도 모바일 게임 환경 생태계를 담았고, 신규 론칭 전 개발 초기부터 소프트 론칭 후 그랜드 론칭 및 유지보수까지 과정을 담았습니다. 현재(2021. 04) 모바일 게임 QA 환경과 조직 규모, 트렌드 변화 등으로 다를 수 있는 점 참고 부탁드립니다.

고맙습니다.

keyword