북카이브 첫 UT: 설계부터 진행까지
중요한 발견을 할 수 있었던 결정적 UT - 1탄
유저 인터뷰 진행 후 얻은 인사이트를 바탕으로 MVP 구축을 거의 완료해 갈 무렵, 기획단에서는 PO님과 함께 UT를 진행했다. 결론부터 말하자면 이번 UT는 매우 유의미한 정보를 얻을 수 있었고, 추후 로드맵 설정에 좋은 이정표가 되었다. 이번 글에서는 UT를 어떤 과정을 거쳐 준비하고 진행했는지 공유해보려 한다.
[UT 준비]
이번 UT, 왜 진행하는걸까?
본격적인 마케팅 홍보에 앞서 확실히 해두고 싶은 것이 있었다. 바로 북카이브의 핵심 가치가 ‘쓸 만한 수준인가’를 확인하는 것. 마케팅에는 적지 않은 리소스가 투입되기 때문에, 그 전 우리 서비스가 최소한의 가치를 전달하는 수준인가를 알고 싶었다.
이번 UT에서는 세 가지를 확인하는 것이 목표였다.
- 메인) 기록하는 과정이 만족스러운가
- 서브) 태그로 분류 및 정리되는 형태가 만족스러운가
- 서브) AI 검색 기능은 만족스러운가
여기서 가장 메인이 되는 건 첫 번째였다. 분류나 AI 찾기는 서비스를 여러 번 사용하고 기록이 충분히 쌓였을 때 제대로 활용이 가능하기 때문에 1회성에 그치는 UT에서는 정확히 파악하기가 어렵다고 판단헀다. 그래서 이번 UT에서는 기록 과정의 간편함을 확인하는 데 집중했다.
누구를 대상으로 할 것인가?
UT 대상자는 유의미한 인사이트를 얻을 수 있는, 북카이브에 적합한 타겟으로 설정했다.
참여자 선정 기준은 다음과 같다.
- 한 달에 한 권이상 독서를 하는 사람
- 한 책에서 평균 10개 이상의 구절을 기록하는 사람
- 책을 읽는 목적이 정보를 얻고, 그 정보를 바탕으로 나의 행동변화/커리어개발/자기 계발 중 하나 이상인 사람
우리 서비스는 독서 문장을 기록하고 활용하는 걸 도와주는 서비스이기 때문에, 단순히 책을 많이 읽고 기록을 많이 하는 것만으로는 충분하지 않았다. 책에서 인사이트를 얻고자 하는 확실한 목표가 있고, 저장한 기록을 다시 찾아 꺼내 쓸 니즈가 있는 사람이 필요했다.
테스터 모집: 적합한 타겟인지 확인하기
UT 모집 중 간단한 스크리닝 질문목표 인원은 최소 5명이었다. 테스터는 유저 인터뷰에 참여해주셨던 분들과 에브리타임 커뮤니티를 통해 모집했다. UT는 대면으로 인터뷰보다 더 긴 시간 진행될 예정이었기 때문에 커피 기프트카드를 사례로 걸고 모집했다.
이전 인터뷰에서의 회고를 바탕으로, 이번에는 일정 확정 전 간단한 스크리닝 질문을 통해 적합한 대상인지 먼저 확인했다. 위에서 정한 세 가지 기준에 부합하는 확인한 후 UT 일정을 확정했다.
테스트 설계: 무엇을 확인할 것인가?
북카이브 UT 태스크 시나리오 일부UT는 태스크 시나리오 기반으로 설계했고, 크게 사전 질문, 태스크 수행, 후속 질문 세 섹션으로 구성했다. 태스크는 총 3개로, 다음을 확인하는 활동이었다.
태스크: 사용자가 기존에 사용하던 방식으로 기록 vs 북카이브로 문장을 기록 → 두 방식을 비교
(참여자에게는 사전에 책 한 권과 기록하고 싶은 구절 두 가지를 준비해 오도록 요청했다.)
UT의 목적이 북카이브 기록의 간편함을 확인하는 것이었기 때문에, 기록하는 데 걸리는 시간을 측정하려 했다. 하지만 소요 시간이 짧다고 해서 반드시 간편하다고 보기는 어렵다고 판단해, 간편함에 대한 주관적 인식을 5점 척도로 함께 평가하는 정성 지표도 함께 활용했다.
[UT 진행]
사전 질문: 유저 이해하기
테스트를 시작하기 전, 팀 소개와 리서치 관련 안내를 드리고 사전 질문을 통해 사용자의 기본 정보와 독서 관련 기본 습관을 파악했다.
사전 질문으로는 나이와 직업같은 기본정보와 함께 다음과 같은 내용을 포함했다
- 책을 읽는 빈도
- 문장을 기록하는 빈도
- 문장 기록을 하는 이유
- 책을 읽는 목적
- 기록한 내용을 활용하려고 했던 경험 등
스크리닝을 통해 타겟에 맞는 사람인지 간단하게 확인했지만, 사전 질문을 통해 더 구체적으로 평소 습관이나 행동, 관점을 파악하고자 했다.
둘러보기: 서비스 첫인상 파악하기
본격적인 태스크 진행 전, 북카이브 첫인상을 확인했다. 먼저 아무런 조작을 하지 않은 상태에서 홈 화면을 보고 드는 느낌이나 생각, 가장 시선이 가는 부분에 대해 물었다. 그 다음에는 자유롭게 서비스를 둘러보며 전반적인 인상이나 궁금한 점을 공유해달라고 요청했다.
‘둘러보기’를 통해 사용자가 북카이브를 처음에 어떻게 인식하는지를 알 수 있었다.
- "책 중심이 아니어서 저랑은 맞지 않을 것 같다는 느낌이 드네요"
- "태그로 정리되는 게 좋아 보여요"
- "현재는 태그만 있고 구절이 리스트로 쭉 나열되어 있어 조금 평면적인 느낌이 드네요. 분류가 조금 더 입체적이면 좋겠다는 생각이 들어요."
- "보자마자 태그 분류 부분이 가장 관심이 갔어요. 평소에도 이걸 어떻게 시스템화하고 분류할지에 대한 생각이 많은 편이라서 눈길이 간 것 같아요."
이러한 첫인상 피드백은 유저가 우리 서비스를 어떻게 이해하고 있는지, 의도한 대로 인지하는지, 어느 부분에 관심을 갖는지(어떤 기대를 가지고 있는지) 등을 확인하는 데 도움이 되었다.
태스크 사전 안내: 날 것의 반응 끌어내기
태스크에 들어가기 앞서, 태스크에 관련해 안내를 드렸다.
1. 자연스러운 사용과 솔직한 피드백 요청
- 사용자 평가가 아니라 서비스 평가가 목적임을 강조
”참여자님이 얼마나 저희 서비스를 잘 사용하시는지를 보는 것이 아닌, 저희 서비스가 정말 쓰기 편한지를 확인하는 것이니, 편안하게 써보시면 됩니다.”
- 자연스러운 사용 유도
”평소대로 저희가 여기 없고 집에서 혼자 사용하고 있다고 상상하시면서 편하게 써주시면 돼요.”
- 솔직한 피드백 요청
”무엇보다 솔직한 의견 부탁드릴게요. 부정적인 의견이 저희에게 더욱 도움이 되니, 솔직하게 공유해주시면 감사하겠습니다.”
특히 부정적 피드백의 경우, 이렇게 말씀을 드려도 에둘러 말하거나 긍정적으로 포장하려는 경우가 많았다. 그래서 우리는 일부러 과장(?)해서 ‘0점 주셔도 되니 솔직한 답변 부탁드려요’라고 솔직한 피드백을 강조했다.
2. Think-aloud 요청
Think aloud는 서비스를 사용하면서 보고 있는 것이나 드는 생각, 느낌을 입 밖으로 표현하는 것이다. 비언어적인 행동만으로는 파악이 어려운 경우에 사용자의 생각을 파악할 수 있다.
UT 사용자 모두에게 Think aloud를 요청드렸는데, 아무래도 혼잣말을 하는 게 어색하다 보니 한 두분 빼고는 적극적으로 해주시는 분은 없었다. 그럴 땐 중간중간 어떤 부분을 보고 계신지, 어떤 생각을 하고 계신지 질문하며 확인할 수도 있다.
실제로 이 Think aloud에 굉장히 적극적으로 참여해주신 분이 있는데, 확실히 사용자 생각의 흐름이나 관점을 파악하는 데 도움이 되었다.
(실제 UT 중 사용자의 Think aloud)
“스캔이 완벽하지 않네..문장 당연히 수정할 수 있겠지?”
“아 인식할 때 들여쓰기 반영이 안되네!! 들여쓰기 중요한데..!!”
“오 태그명이 딱 내가 생각한 대로 추천되네 좋다”
3. 녹화 안내
마지막으로는 영상 녹화 안내를 드렸다. 서비스를 사용하는 손과 폰 화면 위주로 영상 녹화를 할 것임을 설명하고 미리 양해를 구했다.
첫 번째 태스크: 북카이브로 처음 기록해보기
첫 번째 태스크는 북카이브를 이용해 준비해온 구절 중 하나를 기록하는 것이었다. 이 때는 동작 방법을 알려주지 않은 상태에서 사용자가 직접 탐색하며 사용하도록 했다.
이 태스크에서는 다음과 같은 항목을 주의깊게 관찰했다.
- 사용자가 헤매는 부분이 있는지, 있다면 어느 부분인지
- 어디를 터치하는지, 잘못된 부분을 클릭하지는 않는지
- 태그를 어떤 식으로 설정하는지
이 첫 번째 태스크는 사용자가 북카이브를 처음 사용하는 단계이므로, 날 것 그대로의 사용성 문제를 확인할 수 있다. 관찰 뒤에는 어려움이나 불편함은 없었는지 첫 북카이브 기록 경험에 대해 질문했다.
두 번째 태스크: 기존 방식대로 기록해보기
이번에는 북카이브가 아닌 유저가 기존에 사용하던 방식대로 다른 구절을 기록하는 것이었다. 컴퓨터로 기록하는 사람, 아이패드에 수기로 작성하는 사람, 다른 앱 서비스를 사용하는 사람 등 다양한 방식을 볼 수 있었다.
이 때는 다음을 중점적으로 관찰했다.
- 어떤 내용들을 어떤 형태로 기록하는지
- 전체적인 기록 과정과 순서
이후에는 분류 및 정리 방식, 기존 방식에서의 어려움 등에 대해 구체적으로 질문했다.
세 번째 태스크: 사용법 학습 후 북카이브 다시 써보기
마지막으로는 두 번째 태스크에서 사용한 같은 구절을 북카이브를 이용해 다시 한 번 기록하도록 했다. 목적은 기능 동작에 숙지가 된 상태, 즉 미숙 변수가 제거된 상태에서 어떻게 사용하는지를 확인하는 것이었다.
여기서는 첫 번째 태스크에서 어려워 했던 부분을 잘 학습하고 이용하는지, 혹은 여전히 어려움을 겪는지를 위주로 관찰했다.
태스크 진행 시 고려해야 할 점
태스크를 진행하면서 유저들의 실제 생각과 경험을 최대한 그대로 파악하기 위해 다음과 같은 사항들을 신경 썼다.
1. 세심하게 관찰하기
UT의 가장 기본이 아닐까 싶다. 사용자의 어투나 표정, 손가락의 움직임 등 언어적/비언어적 행동을 세심하게 관찰하는 것이 중요하다.
우리 팀은 진행자와 서기로 역할을 분담했는데, 진행자가 유저와 이야기하며 놓칠 수 있는 부분을 서기가 집중적으로 관찰했다. 진행자는 사용자와 마주보고 앉아 원활히 이야기할 수 있도록 하고, 서기는 사용자 옆 자리에 앉아 서비스를 사용하는 모습을 가까이서 관찰했다.
(실제 관찰하며 적은 기록들)2. 중간중간 질문하기
만약 사용자가 멈칫거리거나 생각하는 모습을 보인다면 ‘지금 무슨 생각을 하고 계세요?’라고 질문해볼 수 있다. 또는 사용자의 특정 언어적/비언어적 행동을 보고 이유를 물어봄으로써 서비스 사용 과정 속 생생한 느낌을 확인할 수 있다.
사례 1
사용자: (아카이브 상세 화면을 보며) 오..ㅎㅎ
인터뷰어: 방금 ‘오..ㅎㅎ’하며 살짝 웃으셨는데, 어떤 것 때문에 그러셨을까요?
사용자: 아 감성 자극하는 UI여서 살짝 좋았어요. 저는 다시 봤을 때 마음에 드는 게 중요한 사람이어서요. 그래서 필사 템플릿을 쓰고 있기도 하구요. 배경 색이나 이미지를 바꿀 수 있으면 더 좋을 것 같아요.
사례 2
사용자: (구절 스캔 후 태그를 고를 때 살짜 머뭇거림)
인터뷰어: 아까 태그 고르실 때 머뭇거리시던데, 어떤 이유였을까요?
사용자: 아..태그가 많으면 애매하고 귀찮겠구나 라는 생각이 순간 들어서 그랬던 것 같아요
3. 사용자 질문에 역질문하기
사용자가 “이건 어떻게 해요?” 혹은 “이건 뭐예요?” 등의 질문을 하는 경우가 있다. 이 때는 바로 답을 알려주지 않고 ‘어떻게 생각하세요?’ / ‘지금 혼자 계시다면 어떻게 하시겠어요?’로 역질문을 한다. 이렇게 하면 단순히 ‘아 이 부분이 이해가 어렵구나’라는 피상적 발견을 넘어, ‘사용자는 이걸 이렇게 이해하네, 이런 이유 때문에 그런 오해가 생기는구나’ 처럼 더 구체적인 문제를 파악할 수 있다.
사례
사용자: 전체 태그랑 연관 태그는 어떻게 다른 거예요?
나: 어떻게 다른 것 같다고 생각하세요?
사용자: 음..연관은 AI가 추천해주는 거고 전체 태그는 내가 만든 건가요?
나: 네 맞아요. 어떤 점이 헷갈리셨어요?
사용자: 단어가 조금 헷갈려서 그런 것 같아요. AI가 추천해준다라는 느낌이 잘 안 느껴지는 것 같기도 해요.
후속 질문: 종합적인 경험 평가하기
태스크를 완료한 후에는 북카이브 전체적인 사용 경험에 대한 후속 질문을 했다. 기존 방식과 비교했을 때 얼마나 간편하다고 느끼는지 5점 척도로 점수를 매겨달라고 요청했고, 그 점수를 준 이유에 대해 물었다.
만약 3점이라면 왜 3점인지, 나머지 2점을 주지 않은 이유는 어떤 이유인지 구체적으로 질문해, 서비스에 대한 사용자의 경험과 기대를 더 명확하게 파악했다.
[UT 이후]
UT 결과 정리: 개발자와 경험 공유하기
UT 결과 정리하기
UT가 끝난 후에는 바로바로 노션에 결과를 정리했다. 처음에는 현장에서 로우 데이터처럼 작성하고, 이후 그날 서기 담당이 주요 내용을 다시 정리했다.
유저의 기본 정보, 기존 기록 방식, 북카이브 핵심 가치에 대한 반응과 니즈, 그리고 기타 사용성 문제를 각각 섹션별로 정리하고 핵심 니즈를 요약했다.
개발자와의 얼라인
UT 과정에서 중요하게 생각했던 또 하나는 개발자 분들과의 공감대 형성이었다. PO님과 나는 직접 UT를 진행하며 유저의 반응을 생생하게 경험했지만, 개발자분들은 그만큼 체감하기 어렵기 때문이다.
따라서 맥락을 효과적으로 공유하고 개발자들도 유저 경험에 공감할 수 있도록 하기 위해 녹화한 UT 영상의 주요 부분을 편집해 짧은 클립으로 만들어 공유했다. 텍스트가 아닌 영상으로 공유하니, 실제로 개발자분들도 유저의 실제 사용 모습을 볼 수 있어 더 와닿고 이해가 잘 된다는 피드백을 주셨다.
이렇게 결과를 공유하는 건 얼라인에도 좋지만, 사용자를 직접 만나기 어려운 개발자 분들의 동기 부여에도 효과적이라는 걸 많이 느꼈다.
일정 잡는 것부터 쉽지 않았던…UT를 일주일 내로 완료하는 것이 목표였어서 하루에 두 분을 진행하기도 했는데, 지역이 모두 멀어 체력적으로 굉장히 지쳤던 기억이 난다.. 그렇지만 사용자들이 서비스를 사용하는 모습을 보고 우리가 예상하지 못했던 점들을 하나씩 발견해 나가는 즐거움은 어떤 피로감보다 값진 경험이었다. UT가 끝날 때마다 PO님과 머리 싸매며 고민했던 게 지금도 생생하게 떠오른다 ㅎㅎ
5명이라는 적은 모수를 대상으로 진행한 UT였지만, 인사이트를 정리한 결과 굉장히 유의미한 발견을 할 수 있었다. 크고 작은 사용성 문제 발견부터 북카이브 방향성을 다시 확실히 할 수 있었던 기회였다.
과연 어떤 발견을 하게 되었는지는 다음 글에서 계속! >>
참고
https://design-tra.tistory.com/entry/UX리서치UXR-❸-정성-사용성-평가UTUsability-Testing-정성스럽게-태스크-시나리오-준비하기
https://design-tra.tistory.com/entry/UX리서치UXR-❺-사용성-테스트UT-참여자에게-꼭-전달해야할-7가지-정보
https://design-tra.tistory.com/entry/UX리서치UXR-❼-참여자와-대화하는-사용성-테스트UT만드는-방법
<고작 다섯 명이 한 말을 어떻게 믿어요?> 송라영 저
