07화 Test Types 비기능 테스팅

소프트웨어 테스팅

비기능 테스팅(Non-functional Testing)에 대해 알아보겠습니다. 기능 테스팅은 테스트 결과가 '올바르다, 올바르지 않다'처럼 2가지로 나타납니다. 하지만 비기능 테스트는 다릅니다. 기능 테스트와 마찬가지로 입력값에 따른 출력 값을 확인하는 형태인 블랙박스 테스트지만, 테스트 결과 판단 방식이 다릅니다.

예를 들어, 로그인 기능이 있습니다. 아이디와 패스워드를 입력하고 로그인 버튼을 눌렀습니다. 로그인이 되었습니다. 기능 테스팅은 문제가 없습니다. 그런데 로그인 버튼을 누르고 로그인 처리까지 10초가량의 응답 시간이 걸렸습니다. 정상일까요 비정상일까요? 사용자가 로그인 버튼을 눌렀을 때 몇 초 만에 로그인되어야 할까요? 1초, 3초, 5초, 10초 등 응답해야 하는 기준이 있습니다. 10초가량 지연되는 사이트를 사용자가 원활하게 이용할 수 있을까요? 기능 정상 동작 유무도 중요하지만 응답 시간과 관련된 비기능 품질도 중요합니다.

비기능 테스트의 가장 큰 특징은 테스트 결과가 기능 테스트처럼 YES/NO로 판단하기 힘들다는 점입니다. 예를 들어, '평균 응답 시간이 3초 이내가 되어야 소프트웨어가 빠르다고 할 수 있다'와 같이 특정한 기준이 있습니다. 웹 사이트를 접속했을 때 접속 시간이 3초를 넘어서면 체감 시간이 꽤나 길다고 느껴집니다. 기능이 정상 동작되는 것과는 별개로 사이트 로딩 시간이 5초, 10초, 15초 이상이 된다면 사실상 성능이 불안정하다 할 수 있습니다.

비기능 테스트에 대한 소개는 여기까지입니다. 관련해서 학습해야 할 공식 문서의 기술 내용이 많아, 비기능 테스트에 대한 실무 내용은 관련 학습이 마무리되는 시점에 다뤄보도록 하겠습니다. 성능 테스트 도구인 JMeter와 HP LoadRunner를 학습 후 다뤄본 경험을 기반으로 'Non-functional Testing'이라는 신규 브런치 북에서 다루거나, QA Engineering 매거진에서 다뤄보도록 하겠습니다.