08화 추적하라, 리스크를

Risk Based Testing

테스트 진행 상황 추적과 수치화된 결과 리포팅은 품질 보증 활동에서 중요하다. 모니터링과 제어 영역에 속하는 추적 활동에는 리스크를 추적하는 방법 또한 존재하는데, 당시 리스크 추적 지표까지 파악하기엔 리소스가 부족했다. 일반적으로 결과 리포팅 및 테스트 진행 상황 추적에 사용하는 지표로는 아래와 같다.

세부 테스트 진행 현황

결함 개수 및 잔존 이슈

전체 테스트 진행 현황

이와 더불어 리스크 기반 테스트 전략을 활용했을 때 사용 가능한 지표 몇 가지를 소개한다. 실제로 실무에 도입하여 진행해본 경험이 없기에 소개로만 대체한다.

리스크 커버리지

리스크 커버리지는 리스크 수치와 테스트 케이스 개수를 비교해 방사형 그래프 형태로 시각화한 지표이다. 좌측 방사형 그래프의 문제점을 앞서 예시로 들었던 리스크 분석 분포도 예시와 함께 살펴보자.

리스크를 식별하고 분석하여 빅매치라는 리스크 아이템이 STA 영역에 속한 것을 확인했다. 이후 테스트 준비 기간이 끝날 무렵 리스크 커버리지를 통해 TC 리뷰를 했더니 리스크 높은 영역보다 낮은 영역의 TC 커버리지가 높은 상황인 것이다. 즉 빅매치보다 좌측 ITA Tech 영역에 놓인 클랜 레이스 연출의 TC 개수가 더욱 많은 상황이다. 리스크 테스트 전략을 올바르게 수립했다면 방사형 그래프 표현 시 리스크 높은 아이템은 상대적으로 테스트 케이스가 많아야 하고, 낮은 아이템은 상대적으로 적어야 한다.

하지만 좌측 방사형 그래프를 살펴보면 리스크가 높은 영역 외에 리스크가 낮은 영역의 TC 개수가 많은 걸 알 수 있다. 이러한 문제를 파악하고 싶을 때 사용하는 방사형 그래프 형태의 리스크 커버리지. 실무에 활용해본 적은 없지만 테스트 준비 활동이 적절한 방향으로 진행되고 있는지 추적하는 데에 꽤나 유용할 것으로 생각된다.

누적 결함 S-커브

누적 결함 수를 시간의 변화에 따라 표현한 지표이다. 이론상 결함은 테스팅 초기에는 증가폭을 보이다가 테스팅 활동이 본격화되는 시점부터 급격히 누적되고, 출시에 임박하면 발견 결함수가 줄어드는 변곡점을 보여야 한다.

이때 의사결정 지표로 활용 가능한 것이 변곡점의 출현 여부이다. 변곡점이 안 보이고 누적 결함 수가 계속해서 증가하기만 한다면 출시가 어렵다고 판단할 수 있다.

리스크 감소 추이

전체 리스크를 1로 계산하여 전체 리스크에서 감소된 리스크를 제외하면 현재 잔존 리스크를 파악할 수 있다. 예를 들어 탐색적 테스팅과 같은 체계적인 접근법을 활용해 테스트 케이스 기반 테스팅 활동을 보완했다면 리스크 감소에 기여했다고 판단할 수 있다.

리스크 커버리지, 누적 결함 S-커브, 리스크 감소 추이에 대해 간단하게 살펴보았다. 이번 브런치 북을 써 내려가며 QA 재직 당시 유심히 살펴봤던 각종 연구 결과에 대해 다시 한번 상기시키는 계기가 되었고, 보다 체계적으로 도입해봤으면 어땠을까 하는 아쉬움도 남는다.

만약 다시 한번 QA 포지션에 몸담게 된다면 게임 분야에 적용했던 리스크 기반 테스트 전략을 보다 체계적이고 전문적으로 진행하여 그 결과를 공유해보는 것도 유의미한 시간이 되지 않을까 생각된다.

리스크가 없으면 테스트도 없다는 표현 자체가 테스팅에서 리스크의 중요성을 단적으로 표현한 것이라 생각된다. 테스팅 분야가 지금보다 더욱 발전하여 아무나 할 수 없는 일임을 결과물로 보여주는 사례가 많아졌으면 하는 바람이다.