AI는 완전히 QA부분을
점령할 수 있을까?
QA의 새로운 관점
주변이 알게 모르게 빠르게 AI 전환이 되어가고 있고 맹목적이고 목적 없이 일을 하는 시대의 종말을 하루하루 현업에서 느끼고 있다. 그리고 IT업계에서 서비스기획자이자 프로덕트 매니저로 커리어를 3년 정도 쌓아온 나는 이렇게 변화하는 시대에 앞으로 어떤 방향성과 진로를 잡고 IT 생태계에서 살아남을지 치열하게 고민 중 앱서비스 QA 테스트를 진행하면서 '서비스 품질 관리'에 대한 새로운 확장 포인트를 발견할 수 있었다.
그리고 앞으로 생성형 AI 시대의 서비스 품질 관리는 어떻게 새로운 생존과 커리어 성장을 도울지에 대한 짧은 인사이트를 작성해보려고 한다.
# 'AI'라는 서비스의 상품 품질, 결국 '사람'이 개입할 수밖에 없다.
사실 많은 언론 매체에서 연일 생성형 AI의 발전을 발 빠르게 공유해주고 있으며, 특히 생성형 AI가 사고하고 판단하는 개발 과정을 대중에게 노출시켜 주며 새로운 발전이 전달해 주는 '공포심'마저 전달받고 있는 상황이다. 최근 마이크로소프트사의 인공지능과 대화를 주고받다가 인공지능이 사람에게 전달하는 '부정적인 메시지'와 '어두운 면'을 부각하여 언로가 매스컴에 노출한 적이 있었다.
당시, 뉴스를 시청하던 모든 사람들은 인공지능의 답변과 논리에 흠칫 놀랐다.
https://www.youtube.com/watch?v=KWbIr2phFaQ
그리고 곧 인공지능이 인간을 지배하는 세상이 오는 것 아닌가? 에 대한 막연한 공포감들이 퍼지기 시작하였다. 하지만, 인공지능이 사고하고 판단하는 것은 정말 다양한 인간이 남겨 놓은 '데이터'라는 발자취를 재조합하고 전달하였기 때문이다.
만약 온전히 긍정적인 메시지와 문장 그리고 데이터의 흐름을 학습시켰다면, 인공지능의 답변은 정말 환상적이고 낭만적이었을 것이다. 하나 우리가 많이 접하는 인공지능 테스트는 필터링되지 않은 수많은 데이터를 과감히 받아들이고 처리하고 있기 때문이다. 그래서 마치 우리가 남긴 데이터는 생각하지 않고 인공지능이 이제 고도의 사고를 시작하였다고 불안해하는 것이다.
그리고 마이크로소프트 인공지능 서비스 품질 관리팀이 바로 투입되어 진행되는 과정이 [어떤 데이터가 전달되고 있는가? ], [현재의 대답 프로세스는 정상적인가? ], [주로 어떤 데이터들에서 학습하고 있는가? ]를 체크하고 잘못된 데이터는 수정 및 차단 작업을 하는 것이 품질팀의 '사람'인 것이다.
아직까지 인공지능 서비스가 자체적으로 책임을 느껴 자신의 답변의 알고리즘 체계를 고치는 경우는 절대 없었기 때문이다, 우리가 만나고 있는 인공지능은 인공지능처럼 보이지만 마치 보육자인 '인간이라는 '엄마''의 곁을 떠나면 불완전한 존재인 것과 같이 '사람'의 품질 개선 개입이 한동안 많을 수밖에 없다는 것이다.
# QA/QC 단순히 작동 검사를 넘어 '사용자 행동 패턴'을 데이터화하여 독자적인 차별성을 확장시킬 수 있는 포인트가 될 수 있다.
쿠팡, 토스, 배달의 민족과 같은 소위 유니콘 스타트업들은 '서비스 및 제품 품질 관리'에 진심이고 많은 인적 물적 투자를 진행 중이다. 사실 '품질 관리'만 하는 것이 아닌 소비자들이 남기고 간 '사용자 행동 패턴'을 빠르게 데이어화로 전환시키는 작업과 그 데이터를 담을 '기술적 환경'을 고려하고 있다고 볼 수 있다.
수많은 서비스를 사용하면서도 사용자는 각 서비스에 맞는 적합한 행동 패턴을 가지고 있다.
그리고 그것이 국내를 넘어 해외로 넘어가면 또 재미있는 관찰 포인트가 발견되기 때문이다.
같은 사람이라도 어떤 문화권과 경제권의 영향을 받았는가? 에 따라 서비스의 이용 형태, 불만 포인트, 개선 포인트가 다 다르기 때문이다.
https://www.khgames.co.kr/news/articleView.html?idxno=213581
그래서 단순히 '기능적 테스트'만 하는 조직이 더 비약적으로 성장하지 못하는 것이 오직 '기술적 기능적' 시야에만 초점이 담겨 있기 때문이다. QA/QC 작업을 통해 다양한 가능성 포인트를 기록하고 환경적 행동 패턴의 다양성을 고려한다면 단순히 기능 테스트가 아닌 마케팅 서비스 포인트에서 찾지 못한 서비스 확장 포인트를 기술적 기능적 테스트에서 발견할 수도 있기 때문이다.
그래서 QA/QC를 지금부터라도 다른 관점으로 살펴보고 확장할 필요가 있다.
# 고객은 프런트단에서만 만나는 것이 아닌 QA단에서도 만날 수 있는 '아하 모먼트'의 발견
사실 서비스 기획자로 재직하면서 수많은 새롭고 잠재적인 '고객'이라는 존재를 오직 '시장'의 관점에서 만나고 찾으려고 하였다. 하지만 앱/웹 서비스 QA 작업 그 자체에 빠져서 다르게 고민하니 새로운 '시각'을 가질 수 있었다. 내가 생각하거나 만나고 싶어 하는 '우리의 고객'은 꼭 서비스 프런트단에서만 찾을 수 있다는 어리석은 생각과 고정관념....
https://brunch.co.kr/@cocomong1105/189
사실 많은 사람들이 QA가 단순하고 반복적이고 지루한 과정이라고 생각하는데 이는 그저 목적 없고 기능적인 유/무만 확인하려는 자세를 가졌을 때 더 강하게 나타날 것이다.
QA를 통해 단순히 기능적 부분이 아닌 전체 구조적인 부분을 최종적으로 생각해 보고 기록하고 다음 기획에 전달해 주고 의견의 확장성을 가져가려는 자세로 이 업무를 집중하다 보면, 단순히 테스트하는 작업 그 이상으로 우리 서비스의 사각지대를 발견하고 소비자 사용 '전환 포인트'를 마련할 수도 있다는 것이다.
때론, 서비스에 따라 마케팅 포인트가 구매 욕구를 건드리기도 하지만, 핀테크와 같은 신뢰와 안정성 그리고 간결성이 필요한 서비스에게는 서비스 자체에서 전달해 주는 UX/UI의 구조와 체계가 전환 포인트를 마련해 줄 수 있고 이것이 우리 조직의 '아하 모먼트'를 발현시킬 수 있는 기본 토대가 될 수도 있기 때문이다.
그래서 우린 고객이 꼭 앞단을 통해 들어온다는 고정관념을 철저하게 버리고 QA를 새로운 관점으로 맞이하고 활용해야 할 것이라고 본다.
# '호기심과 탐구력' 그리고 'QA'가 만나면 새로운 생태계 탄생
최근 들어 QA테스트에 대해서 AI로 대체화 하려는 새로운 시도들이 보이고 다양한 서비스들이 시장에 나오고 있다. 어쩌면, 좋은 소식이고 기회의 소식이라고 나는 생각하였다.
정말 기술적이고 기능적인 부분은 AI에게 반복적이고 지속적으로 테스팅을 맡기고 우리는 '당연하다고 생각되었던 기능'에 대한 새로운 관점과 확장성을 고민해 보는 시간을 가져가면 되기 때문이다.
AI기능을 탑재한 QA테스팅 서비스는 기능적 테스팅에는 인간의 능력을 압도적으로 따라잡고 능가할 수 있을 것이다.
( 단, 여기서 반복적이고 지속적인 단순한 작업에서만 해당한다고 볼 수 있다 )
그러나 QA테스트의 본질은 단순히 기능만이 아닌 우리가 서비스에서 '놓친 포인트'를 발견하고 '문제 해결'을 통해 새로운 관점이나 새로운 서비스 확장의 단초를 마련하려는 시장적 환경적 QA테스터의 자세를 가져야 한다는 것이다.
그래서 나는 앞으로 단순히 시키는 것만 잘 아는 테스터보다 호기심과 탐구력을 잘 녹여낼 수 있는 테스터들이 새로운 QA생태계와 성장의 장을 만들어 갈 것이라고 본다.
그리고 이 말을 증명이라도 하듯 다양한 경험과 직군의 사람들이 QA 포지션에 지원하고 있으며 새로운 전문성을 QA를 통해 얻으려고 한다.
충분히 QA/QC는 서비스 및 상품의 품질 개선을 통한 서비스 자체의 유입 퍼널 확대와 더불어 기술적 확장성을 고려할 수 있는 전문성도 가질 수 있기 때문이다. 그래서 많은 선배 프로덕트 매니저분들 중에서는 QA포지션으로 새로운 도전을 하는 분들도 있었다.
단순히 기능 테스트가 아닌 새로운 서비스의 확장 포인트로 활용할 수 있는 인사이트의 창구 같은 역할을 하고 있기 때문이다.
