10화 Test Types 리그레션 테스팅

소프트웨어 테스팅

일반적으로 시스템 테스트 레벨부터 진행하는 리그레션 테스팅에 대해 알아보겠습니다. 리그레션 테스팅은 수정 변경된 내역으로 인해 새로운 버그 혹은 정상 동작했던 기능에 문제가 없는지 검증하는 것을 의미합니다. QA, Tester로 입사하게 되면 QA팀에서 보유하고 있는 테스트 케이스 또는 체크리스트가 존재할 텐데요. 해당 문서에는 서비스 중인 제품의 전체 기능에 대한 테스트 항목들이 작성되어있을 테고, 그것들이 바로 리그레션 테스트 케이스입니다.

리그레션 테스팅은 버그 검출과 빌드 안정성 확보에 있어서 매우 중요한 테스트 유형입니다. 실제로 블랙박스 테스트 수행의 대부분은 리그레션 테스팅에 소요됩니다. 회사마다 다르겠지만 몇 가지 예를 들어보겠습니다.

1.0 ver에서 1부터 100까지 기능이 작성된 리그레션 테스트 케이스가 있습니다. 1.1 ver 배포에는 101부터 120까지의 신규 기능이 추가됩니다. 1부터 100까지 테스트 케이스를 리그레션 테스트 케이스라 부르고, 101부터 120까지의 테스트 케이스는(신규 설계 필요) 업데이트 스펙이라 부릅니다.

시간이 흘러 1.1 ver 배포되었습니다. 해당 웹 또는 앱 서비스는 1부터 120까지 기능이 존재합니다. 따라서 1.2 ver부터는 1부터 120까지가 리그레션 테스트 케이스 범위에 해당됩니다.

서비스 기간이 길어질수록 QA팀이 검증해야 할 테스트 대상은 계속 늘어나게 됩니다. 실제로 대형 모바일 MMORPG 같은 경우 리그레션 테스트 케이스만 5~6천 개 정도로 분류됩니다. 사람이 하려니 정말 힘들 수밖에 없는데요. 리그레션 테스트 케이스 중에서 단순 반복적인 테스트 시나리오를 자동화시켜 QA, Tester들이 좀 더 창의적이고 도전적인 업무에 집중할 수 있도록 리그레션 테스트 고도화(TC 디자인, 테스트 자동화 등.)가 오래전부터 진행되고 있습니다.