사용성 평가 진행 후기 01
개발자가 진행해본 사용성 평가
[수행 배경]
- 회사에서 데이터 분석/엔지니어링을 담당하면서 추가로 서비스 페이지에 대한 사용성 평가도 진행하게 되었다.
- ETL 프로세스를 구축하고 수집한 데이터를 바탕으로 분석을 하는 것보다 사용성 평가가 지금 시점에서 투입 자원 대비 성과가 크다고 판단. 일차적으로 GA, NA 설치하고 몇 가지 지표, 데이터에 대해 로깅하도록 구축했기에 바로 UT를 진행
[개인 배경지식]
- NDC와 같은 IT컨퍼런스에서 게임에 대한 사용성 평가 세션은 거의 들어보았다.(관찰/측정을 통해 얻은 데이터로 서비스를 개선한다는 점이 마음에 들어)
- 학부 시절 컴퓨터를 전공하였지만 그때부터 UX에 관심이 많아 현업자(개발, 디자이너, 기획)들이 모이는 UX스터디에 참가하였고 책 몇 권을 뗀 정도다.
[대상 모집]
- 석사, 박사과정 학생 총 2명
- 어떤 배경을 지닌 서비스라는 것을 대략적으로 알고 있는 대상(실제 사용유저와 흡사해야 하기 때문에)
- 글로벌 서비스이고 영어로 되어 있기에 영어가 익숙한 대상(사용성 부분에서 해석이
- (그나마) 비판적이고 자기 의견을 잘 표현할 수 있는 사람
>> 물론 테스크 시작하기 전에 이 과정은 개인의 능력을 평가하는 것이 아니며 듣는 우리가 상처받을 것에 대해 개의치 않고 의견을 개진해달라는 안내를 충분히 함.
[참여인원]
- 2명 (나와 서비스 도메인에 대해 가장 잘 설명해줄 수 있는 대표님)
[준비]
- 사용자에게 줄 테스크, 과제에 대한 인쇄물
- 인쇄물에는 실험 과정에 대한 안내 및 정성적 설문지도 포함하였다.
- 사용자에게 가이드할 안내 스크립트 준비(자연스럽게 참고하며 읽었다.)
- 여건상 촬영은 하지 않았다. 포스트잇에 상대의 말, 행동, 아이디어를 기입했다.
[시작에 앞서]
- 우리는 참가자에게 여행 가이드 이자 심리치료사 여야 한다는 점을 상기시킴.
>> "여행 가이드처럼 참가자가 해야 할 일을 알려주고, 그들에게 계속 무언가를 시키고 기쁘게 해주어야 한다. 하지만 여행 가이드와 다른 점은 참가자가 질문을 해도 대답을 해서는 안 된다는 것이다. 참가자 스스로 이용 방법을 알아내도록 해야 한다."
"진행자는 심리 치료사처럼 참가자가 테스트 대상을 이용하는 동안 그들의 생각을 계속 입 밖으로 꺼내도록 해야 한다."
[아쉬운 점]
- 사용자가 헤맬 때 자꾸 답을 알려주려고 했던 점.
방황하는 것 같을 때 "무엇을 보고 있느냐", "무슨 생각이 드느냐" 하고 묻고 스스로 지금의 상태를 표현하게끔 유도했어야 했다.
- 중립을 유지했어야 했다!
질문에 답을 해서는 안 되고 질문에는 질문으로 답했어야 했다.
>> "당신의 생각은 어떤가요?"
그래도 대부분은 상대의 질문을 요약하며 "이렇게 느끼신다는 거죠?" 하고 대처했다. 그런 경우에는 실험자가 동의하며 자신의 생각을 한 층 더 상세하게 설명해줬다.
- 포스트잇이 아코디언 형태인 점, 더 컸으면
상대의 말과 행동을 모두 기입하다 보니 포스트잇이 최대한 큰 게 좋겠다고 느꼈다.
추가적으로 상대의 말과 행동에서 떠오른 나의 생각도 한 장으로 적었기에 기왕이면 큰 포스트잇이 좋겠다.
또한 아코디언 형태로 뒷장이 붙어있으면 나중에 벽에 붙이고 정리할 때 매우 지저분하고 힘든 상황이 연출되었다. 아코디언 형태의 포스트잇은 피하자..
[아이디어 정리]
- 어피니티 다이어그램 형태로 수집한 아이디어 정리
http://blog.naver.com/vinylx/220142571752
- 최선의 목표는 서비스 개선(수정), 그다음은 추가 기능 개발이었기에 서비스 페이지/기능 별로 헤더를 구성.
- 헤더 내에서 가장 크리티컬 한 우선순위를 결정했다.
- 참가자의 중복된 문제 지적, (ex 생물학 단어가 너무 어렵다)과 같은 항목은 (N)으로 추가 표기했다.
- 버그와 같은 항목은 우선순위를 높게 잡고 분류했다.
- 헤더 내에서 우선순위가 수직적으로 분류되었다면 헤더 간의 우선순위를 정했다.
- 총집하여 어떤 일들을 우선적으로 개선해야 하는지 정하였다.
[후기]
- 확실히 사용자의 행동을 직접 관찰하고 그 데이터에서 인사이트를 뽑아내는 것이 투자 대비 효율적이었고 의미 있었다.
- 예상치 못했던 문제를 많이 찾았으며 이를 해결하기 위한 구체적이고 색다른 방안도 만들어낼 수 있었다.
- 확실히 서비스가 개선되는 게 보여서 만족도가 컸다.
