이대로 출시해도 되나요? 진짜 사용자 목소리 - 1편
대규모 사용성 테스트 프로젝트 회고
안녕하세요, 티맥스AI UX팀입니다.
지난해부터 신규 프로덕트를 기획하면서 크고 작은 사용성 테스트를 진행했었는데요.
서비스 출시를 앞두고 프로덕트에 대한 반응과 사용성을 위해 ‘전사 임직원 대상 사용성 검증’이라는 과제에 도전했어요.
과정에서 우여곡절이 많았지만, 임직원분들께 따뜻한 격려를 받으며 UX 연구원으로서 성장할 수 있는 기회도 되었어요. 이제, 목표 대비 400% 이상의 참여를 끌어낸 저희의 여정을 공유해보려고 해요.
실제 전사공지와 응원의 댓글들사용성 테스트, 왜 하는 거예요?
사용성 테스트는 고객에게 사용성과 관련된 이슈를 직접 확인해 보기 위해 진행해요. 사용자의 행태 분석과 기존 서비스의 페인포인트(pain point)를 발견해서 문제를 정의하는 것도 포함하죠.
주로 정량/정성의 사용성 테스트를 설계해서 수행하고 사람들이 우리 서비스를 어떻게 생각하고 느끼는지 직접 확인해 보며 사용자의 총체적인 경험을 개선할 수 있는 기회를 발견하기 위해 노력해요.
또한 연구 결과에 따라 이해관계자에게 보고서 및 권장 사항을 작성하고 제시하는 역할이라고도 볼 수 있죠. 이러한 연구 결과는 실제 근거가 되어 유관 부서와의 협업이나 신규 서비스의 UX/UI 설계를 할 때 도움이 돼요.
잠재고객에 대한 탐구는 또 다른 사용성 테스트로!
UT 그룹화 하는 모습지난 7월 개발을 진행해 왔던 뉴스 서비스를 사내에 오픈하게 되었고, 처음으로 사용자를 만나게 되었어요.
저희가 의도한 바대로 주요 기능을 찾아 사용해 줄 것이라고 예상하며 2주간 서비스에 대한 전반적인 의견을 받았어요. 감사하게도 300명이 넘는 사용자의 목소리를 가까이서 들여다보게 되었죠.
하지만, 기대와 달리 실제 사용자들이 “주요 기능을 충분히 이용하지 않는 모습”은 큰 충격으로 다가왔어요.
사용자들이 일반적으로 뉴스 플랫폼에 기대하는 지점들을 간과한 것이 문제였죠. 이런 결과는 저희 팀에게 많은 것을 깨닫게 해주었어요.
이를 바탕으로 사용자가 뉴스를 선택하는 과정에서 겪는 어려움을 명확하게 파악하기 위해 3가지 검증 기준을 추려 전사를 대상으로 테스트에 도전하게 되었습니다.
검증 목표 설정온라인 사용성 테스트로 사용자 뜯어보기
우선, 테스트 정보들을 하나의 소통 창구로 관리하기 위해 엑셀로 문서화하기로 했죠. 조사 목표, 진행 기간, 모집 대상, 진행 방법 등 세부적인 양식을 작성해 사용자의 피드백을 체계적으로 수집하기 위한 토대를 마련했어요.
온라인 사용성 테스트 프로세스1. 분석 도구 및 Task 선정
사용성 테스트를 계획할 때 가장 중요한 것은 ‘어떤 테스트 도구를 사용할 것인가?’였어요.
저희는 Maze라는 온라인 사용성 테스트 툴을 선택해 활용하기로 했어요. Maze는 사용자의 행동을 플로우별로 추적하고, 테스크 성공률, 화면 체류시간 등 다양한 데이터를 측정할 수 있는 강력한 분석 기능을 갖추고 있기 때문이죠.
Maze라는 분석 도구를 선정한 후 곧이어 테스터가 수행할 Task 가설을 설정해 보았어요.
이전 UT 결과의 재검증을 목표로 삼았죠. 그 중 검증하고자 했던 대표적인 가설과 Task를 하나 소개해 드릴게요.
가설: 정보 구조를 단순화한 UX를 제공한다면,
원하는 뉴스를 빠르게 탐색할 것이다.
2. UT 시나리오 작성
Task를 검증하기 위한 시나리오를 작성하는 건 중요하면서도 아주 고도화된 작업이에요. 왜냐하면 이를 기반으로 사용자의 생각과 경험을 캐치해야 하기 때문이죠.
저희는 UT 시나리오로 배경 설문/퍼소나 시나리오/테스크 진행 의도를 작성한 후, 테스크 수행시간/클릭률/완료율 등을 측정 지표로 선정했어요.
배경 설문 (Background Survey)
사용자의 실제 사용 패턴과 행동, 그리고 그에 따른 서비스 개선 방향을 도출하기 위해 인구통계학적 정보와 뉴스 서비스 사용 빈도, 선호하는 뉴스 카테고리 등 추가적인 정보로 스크립트를 구성했어요.
퍼소나 시나리오 (Persona Scenario)
퍼소나 시나리오는 저희가 가장 재미있게 작성했던 부분으로 테스트 전, 사용자에게 상황에 몰입하도록 도와주는 역할입니다.
뉴스 서비스에서 정보 탐색 플로우를 검증하는 과정을 예시로 들어볼게요.
검증 목표 설정위와 같이 시나리오를 작성할 수 있을 거에요. 퍼소나 시나리오는 사용자의 특성, 행동, 목표 등을 설명하는 것이 중요해요.
3. 프로토타입 제작
다음은 시나리오를 실제로 구현한 ‘프로토타입’ 제작 과정에 대해 얘기해 볼게요. 프로토타입은 디자인 요소, 사용자 플로우, 인터랙션 등을 구현하여 사용자가 실제로 경험해 보고 피드백을 줄 수 있는 초기 모델이에요.
이에 따라 뉴스 추천 영역, 헤드라인 유무, 가로/세로 스와이프 등으로 A/B 테스트를 구성했어요.
프로토타입 제작4. 파일럿 테스트 진행
마지막으로, 플로우에 문제가 없는지 확인하기 위해 파일럿 테스트를 진행했습니다. 5명의 테스터를 모집한 후 테스크 수행시간/클릭률/완료율 등을 확인하며 본 테스트를 준비했죠.
5. UT 진행
자사의 전사 공지에, 사용성 테스트 링크를 배포하여 약 2주 동안 테스트를 진행했어요.
A/B 두 링크의 응답자가 400명을 돌파하며 정량 데이터를 확보했고, 함께 수집한 VOC를 통해 사용자 270명의 직접적인 피드백을 얻을 수 있었어요.
2주 간 작성된 VOC인터뷰로 사용자와 오해 풀기
온라인 사용성 평가 이후, 비대면 프로토타입 평가로는 검증할 수 없었던 사용자의 니즈와 언어적/비언어적 행동을 파악하기 위해 심층 인터뷰 (In-Depth-Interview)를 진행했어요.
* 심층 인터뷰란? (In-Depth-Interview)
유연한 대화 형식을 빌려 대상자들의 구두 진술을 수집하고 분석하여 사건들의 순서와 구체적인 과정 및 사건에 대한 대상자의 표현된 인식을 알아볼 수 있는 연구 방법입니다.
(출처: 심층 인터뷰 연구방법론: 타인에게 배우는 데이터 수집.분석기법)
인터뷰이(Interviewee)와 직접 대화하며 서비스에 대한 의견을 들을 수 있어, 책상 앞에서는 얻기 힘든 인사이트를 얻을 수 있답니다.
저희는 심층 인터뷰를 통해 뉴스 탐색의 전반적인 분석을 목표로 두었어요. 퍼소나 기반으로 인터뷰이를 선정한 후, Task를 설정하여 인터뷰를 진행했어요.
심층 인터뷰 진행 프로세스1. 인터뷰이(Interviewee) 선정
뉴스 프로젝트의 퍼소나는 ‘가볍게 뉴스를 소비하는 2030’이었어요. 단, 외부 오픈 전 사내에만 공개한 상태였기에, 자사 임직원 중에서 해당 퍼소나를 찾고자 했어요. 더 유의미한 결과를 얻기 위한 선별 질문으로서 뉴스 탐색 빈도, 방식, 플랫폼, 장소, 소요 시간 등을 사전에 확인하여, 총 13명의 인터뷰이(Interviewee)를 선정했어요.
2. Task 선정
기존 뉴스 탐색 방식과 저희의 뉴스 탐색 과정을 중심으로 Task를 구성했어요. 인터뷰 질문과 함께 프로토타입 테스트를 덧붙여 각 기능의 가시성/효율성/학습용이성/만족도 등을 확인하고자 했어요.
인터뷰를 진행할 때 유의할 점은 스크립트를 맹신하는 것으로 생각했어요. 사전에 작성한 스크립트를 참고하되, 답변에 따라 연관된 질문을 덧붙여 고도화된 아이디어를 얻기 위해 노력했어요.
IDI 진행을 위한 가이드라인3. 인터뷰 진행
저희는 모바일 디바이스에 프로토타입을 띄워둔 후, 인터뷰이가 직접 손에 쥐고 사용하도록 했어요. 이때, 느끼는 감정과 생각을 말로 표현하도록 유도했죠. 그리고 전 과정을 녹화하여, 인터뷰이의 비언어적인 행동과 탐색 화면을 함께 분석하고자 했어요. (물론 사전에 동의 받았어요)
IDI 진행 모습진행자(Moderator)와 녹화와 기록을 담당하는 기록자를 선정해 수행했어요. 상황에 따라 회의실부터 회사 근처 카페까지 다양한 곳에서 진행했어요. 서비스에 대한 진중한 이야기부터 예상치 못했던 날카로운 인사이트를 얻으며 인터뷰를 마무리할 수 있었어요.
한 달간의 대장정을 돌아보며
이렇게 ‘뉴스 탐색 방식의 이해와 우선순위 정립’이라는 공통의 목표를 가지고 한 달간의 사용성 테스트를 마무리했어요. 목표로 했던 100명을 훨씬 웃도는 400명의 잠재 고객을 만났고, 생각지 못했던 니즈와 인사이트를 발견할 수 있었어요.
또한 뉴스 서비스의 본질과 소구점을 다시 생각해 볼 수 있었고, UX연구원으로서 성장하는 계기가 되었어요. 우리가 당연하게 생각하는 것들이 어떻게 사용자에게 다가갈지 알 수 없어 불안감이 들기도 했지만 다양한 피드백과 응원의 댓글을 받으며 더욱 열심히 진행하는 원동력이 되었답니다.
참여해주신 분들을 대상으로 경품 추첨까지 !다음 글에서는 프로토타입 테스트와 심층 인터뷰를 분석하며 얻은 인사이트와 솔루션을 공유하고자 해요.
TmaxAI 3–3 UX팀 채린, 유진, 혜연