좋아하는 일이 직업이 된다면
테스트 자동화 에세이
인터넷을 위한 테스트 인프라가 되겠다는 비전으로 시작된 BrowserStack은 오늘날 15개의 글로벌 데이터 센터에서 매월 6천만 건 이상(2020년 기준)의 테스트를 지원하는 세계 최고의 웹 및 모바일 애플리케이션 테스트 플랫폼이다. 2년 전 BrowserStack이 컴퓨터 비전으로 구동되는 세계 최고의 시각적 테스트 및 검토 플랫폼인 Percy를 인수하면서부터 BrowserStack과 Percy Visual Engine 통합은 자연스레 이뤄졌다. 과거 클라우드 테스트 서비스로 BrowserStack을 테스트 프레임워크와 연동하여 사용했었다. 비슷한 유형의 서비스로 saucelabs과 lambdatest가 있었는데 내부 PoC를 통해 BrowserStack을 사용했었다.
E2E 테스트는 실제 기기를 실행하거나 실제 브라우저를 조작하는 방식이 의미가 있기 때문에 실행 환경에 대한 인프라가 필요하다. 하지만 복잡하고 번거로운 구성을 직접 할 필요 없이 BrowserStack과 같은 서비스를 사용하면 굉장히 편리했다. CI 구성도 편리했다. 실행 환경이 클라우드 환경이다 보니 CI에서 헤드리스 모드를 별도로 구성할 필요가 없었고, 헤드리스 모드 로케이터와 GUI 로케이터 생성에 대한 고민 자체가 필요치 않았다. (로케이터를 유니크한 ID로 통일한다면야 굳이 고민 자체가 필요치는 않지만..)
하지만 BrowserStack 인프라에서 실행될 경우 테스트 로직 최적화와는 별개로 세션을 시작하고 종료하기까지 해당 인프라 사용에 필요한 시간이 추가로 소요되어 테스트 스위트를 적절히 분리하거나 테스트 격리를 어떻게 진행할지에 대한 고민이 필요했다. 모든 시나리오를 독립된 테스트 데이터로 구성하면 테스트 데이터와 환경 불일치에서 발생하는 테스트 시나리오 간의 의존성 문제를 완벽히 해결할 수 있지만, 이렇게 설계된 시나리오를 BrowserStack과 같은 클라우드 테스트 서비스 인프라에서 구동하게 될 경우 굉장히 많은 시간이 소요되었다. 데이터를 분리하는 작업 자체만으로 QA팀 유지보수 비용은 증가한다. 그럼에도 불구하고 BrowserStack에 대해 좋은 인상을 가지고 있는 이유는 다양한 OS의 실제 기기와 브라우저에서 병렬로 실행하거나 호환성 검증에 필요한 테스트 환경을 쉽게 구축할 수 있었기 때문이다. 실행 시간의 문제는 병렬 테스트로 충분히 해결 가능했었다.
BrowserStack을 사용하고 있을 당시에도 Percy라는 서비스가 존재했지만 사용해 볼까 라는 생각이 들지 않았었다. 시각적 회귀 테스트의 필요성에 대해 인지하지 못하던 시기였고 프로그래밍 언어, 테스트 프레임워크 구성과 운영에 필요한 지식과 스킬 습득에도 벅찼던 시기였기 때문이었다. 그렇기에 기본적으로 모든 Assertion은 프레임워크에 내장된 Assertion을 활용했었다. 그 정도로만 해도 검증에 크게 문제가 없었던 서비스였기에 검토 자체를 하지 않았었다.
시각적 테스트 도구가 기능 테스트 프레임워크의 모든 기능을 대체할 수 없지만 Percy와 같은 컴퓨터 비전으로 구동되는 서비스를 테스트 검증에 활용할 경우 테스트 자동화 유지보수와 결과 검증 정확성 관점에서 효과적이다. 실제 브라우저에서 사용자 행동을 테스트하는 E2E 테스트 특성상 특정 동작 이후에 대한 결과 검증에 대해 로직을 별도로 작성해야 하는 경우가 생기고(단순히 Assertion을 사용하는 정도가 아니라 명확한 검증을 위한 알고리즘이 필요하다) 그 마저도 기능 테스트 프레임워크에 내장된 Assertion의 특성상 100% 신뢰하기 어려울 때가 존재하기 때문이다.
주말을 맞이해 좀 더 깊게 살펴본 컴퓨터 비전으로 구동되는 시각적 테스트 및 검토 플랫폼인 Percy, 시간 가는 줄 모르게 살펴보았다. 내가 좋아하는 일이 직업이 되었을 때 가장 큰 장점은 평일과 주말의 경계가 없어도 딱히 보상 심리가 없다는 것. 평일에 하는 일과 주말에 하는 취미 중 하나가 만약 동일한 유형이라면 그 자체로 엄청난 축복이 아닐까. 그럼에도 불구하고 해외 SDET처럼 국내에서 하나의 직업으로 롱런하고 일반화될 수 있을까에 대한 고민의 답은 아직도 여전히 의문 속에 남아있지만 테스트 자동화에 대한 고민과 답을 찾아가는 주말조차 즐겁고 뿌듯하기에 지금처럼 살아가련다.
