교육상품 사용 데이터 수집하기
교육상품 개발을 위한 형성평가_정성적 데이터 수집
교육상품 개발을 위한 형성평가 수업에서 우리 프로젝트팀은 우리의 이해당사자, 즉 싱가포르 스타트업이 개발 중인 교육용 앱의 사용자 편의성(usability)과 사용자 경험(user experience, UX)을 테스팅할 방법들을 논의했다. 우리가 원하는 데이터는 앱을 직접 사용해본 사람들이 알려주는 앱의 장단점과 개선 방향이었으므로 실시간 관찰이 가능한 데이터 수집 방식들 위주로 검토했다. 사용자 개개인을 관찰할지, 앱이 실제로 활용될 시나리오와 더 가까운 그룹 형태의 사람들을 관찰할지를 고민하다가 두 가지 방식 모두 각각의 장단점이 있다고 판단하였다. 개인의 사용자를 관찰하는 경우, 한 사람 한 사람의 생각을 심도 있게 들어볼 수 있다는 점이 가장 큰 장점이다. 다만 개인은 자신의 경험과 지식에 비추어 생각하고, 의견을 표출하기 때문에 앱의 주요 기능들 중 미처 건드리지 못하고 넘어갈 가능성이 있다. 예를 들어 평소 앱의 시각적 디자인에 예민한 사용자의 경우, 앱의 컨트롤 기능이나 전반적인 인터페이스보다는 앱 환경과 아바타 등 디자인 요소가 얼마나 잘 갖춰져 있는지에 집중하고, 그에 대한 의견을 주로 발언할 가능성이 있다는 것이다. 한 무리의 사람들을 동시에 관찰하는 경우, 누군가의 발언이 다른 구성원들에게는 미처 생각해보지 못한 내용일 수가 있고, 그렇게 되면 서로의 생각과 의견을 통해 학습하며 보다 총괄적인 관찰이 가능하다. 즉, 집단지성을 발휘할 수 있는 것이다. 예를 들어 누군가가 "앱의 컨트롤 기능이 지나치게 예민해서 게임 아바타를 내 마음대로 움직이는 데에 어려움이 있었다"라고 발언했다면, 앱의 시각적 요소에만 집중하고 있던 사람 역시 "아, 그러고 보니 나도 그 부분이 어려웠다" 라거나 "나는 평소에 게임을 많이 해서 컨트롤 기능은 예민한 것이 좋다"라고 말할 수 있다.
우리는 Zoom을 사용한 1) 미니 레슨 (20분간 교사의 지휘 아래 여러 학생들이 앱을 써보며 의견을 표출하는 방식), 2) Think-aloud (10분간 한 명의 유저가 앱을 쓰면서 느끼는 감정이나 생각들을 실시간으로 필터링 없이 말하는 방식)을 채택하였다. 이러한 관찰 방식들은 폭넓은 사용자 경험을 보고 들을 수 있다는 장점이 있지만, 사용자들의 발언이 우리의 평가 목적에 반드시 부합한다는 보장이 없다는 단점이 있다. 우리는 사용자 편의성, 즉 앱을 몰입해서 사용하는 데에 있어서 방해 또는 위협 요소가 있는지를 알아보고 싶은 것인데, 관찰 섹션에서 사용자들이 다른 이야기만 한다면 쓸만한 데이터를 수집할 수 없게 되는 것이다.
따라서 우리는 미니 레슨이 끝난 직후 3) 포커스 그룹 인터뷰를, 그리고 think-aloud 세션이 끝난 후에는 4) 개인 인터뷰를 각각 20분간 진행하기로 했다. 인터뷰 질문은 3) & 4) 동일하였고, 수업 시간에 앱을 직접 활용하게 될 교사들에게만 추가적으로 몇 가지 질문을 더 하기로 했다. 인터뷰 질문들은 우리의 평가 목적에 맞게 구성했다. 원래는 인터뷰 후에 온라인 설문조사까지 총 다섯 개의 데이터 소스를 기획했었다. 설문을 제외하면 모두 정성적 데이터만을 수집할 수 있는 방식들이기 때문이었다. 정성적 데이터와 정량적 데이터를 적절히 섞는 것이 이상적이라 생각했다. 그러나 파일럿 테스트 결과 인터뷰 질문들이 너무 포괄적이라 응답자들의 답변 역시 사용자 편의성/경험에 대해 심도 있는 인사이트와 정보를 제공하기엔 역부족이었다. 인터뷰 질문들을 좀 더 직관적이고, 구체적으로 바꾸었다 (참고자료: https://www.nngroup.com/articles/ten-usability-heuristics/). 그러고 나서 보니 설문지와 인터뷰 질문들이 상당 부분 중복되어 논의 끝에 설문을 삭제하기로 결정했다. 교수님과 조교들에게 정성적 데이터만으로도 설득력을 가질 수 있는지 여쭤보니 리서치의 목적과 데이터의 내용 및 특성에 따라 충분히 가능하다고 했다. 설문지 작성에 들인 시간과 노력이 아까워 설문 하나를 통째로 버리는 결정이 쉽지 않았지만, 팀원들 모두 프로젝트 전체를 위한 최선을 최우선시해주어 신속하게 결단을 내릴 수 있었다.
앱 사용 관찰 및 인터뷰에 응해준 사람들에게는 미리 안내 이메일을 발송하였다. 우리와 미팅 시 하게 될 활동들 (미니 레슨 참여, 인터뷰 등), 총 소요 시간, 수집된 데이터 활용 및 폐기 계획, 관찰 세션 녹화 동의, 그리고 미팅 전 휴대폰에 앱을 다운로드해달라는 요청을 포함했다. 모든 데이터 수집은 Zoom 프로그램을 사용하였다. 미팅에서는 우리 팀과 앱에 대한 간략한 소개 후, 다시 한번 녹화 동의 절차를 거친 후 화면 녹화를 시작했다. 우리에게 유용한 데이터를 수집하는 것만큼이나, 참여자들의 신상 및 개인정보를 보호하는 것 역시 중요했다. 녹화 파일은 스크립트를 자동 생성하도록 설정해두어 추후 데이터 정리가 용이할 수 있도록 했다. 약 2주간 밤낮없이 미팅과 녹화와 받아쓰기를 하고 나니 기대했던 만큼의 데이터가 모였다. 자동 생성된 스크립트는 모두 익명화함으로써 누가 어떤 발언을 했는지에 대한 구체적 정보를 남기지 않았다. 착착 쌓이는 데이터를 보니 어떻게 분석하고, 보고서를 만들어 내야 할지 아이디어가 모락모락 피어올랐다.
데이터 분석 후기는 다음 포스팅에:)
