교육상품 사용 데이터 분석하기

교육상품 개발을 위한 형성평가_정성적 데이터 분석

교육상품 형성평가 (Formative Evaluation for Educational Product) 수업 프로젝트의 데이터 분석 과정은 다음과 같다: 

데이터와 친숙해지기: 각각의 팀원이 수집된 모든 데이터를 리뷰하면서 데이터 분석 방식에 대한 아이디어를 코멘트로 남겨둔다. 데이터를 들여다보면 반복적으로 두드러지는 특정 단어, 문장, 패턴, 사용자의 행동 및 사고가 있다.

프로젝트 초기에 설정해둔 주요 평가 질문 네 가지를 재검토하고, 수집된 데이터에서 주요 평가 질문들과 맥락을 같이 하는 키워드들을 찾아낸다. 여기서 키워드들은 우리의 기초 코드가 된다.

구글 잼보드를 활용하여 데이터의 잠재적 주제/코드들을 찾는다 (아래 추가 설명) 

(여기까지는 팀원 개개인이 자신의 일정에 맞게 알아서 진행)

팀 미팅을 갖고 모든 잠재적 코드들 간의 인과관계, 유사성, 차이, 중복 또는 충돌 여부를 살펴본다. 이 과정을 통해 중복되거나 불필요한 코드들은 삭제하고, 필요한 코드는 추가한다. 

코드들을 최종 확정한 후 엑셀 스프레드 시트에 목록화한다. 이때 각 코드의 정의와 예시 데이터들 (앱 사용자의 실제 발언)을 함께 기재한다. 

제삼자의 신선한 시각이 필요한 단계. 교수님과 Teaching Team에게 엑셀 파일을 공유하여 코드 리뷰를 요청한다. 이때 코드별로 명확한 정의와 예시 데이터를 달아둔 것이 빛을 발한다.

피드백을 반영하여 최종 주제 및 코드들을 선정한다. 

데이터 분석 과정 

총 네 가지 정성적 데이터 소스를 사용했다: 1) 미니 레슨 관찰, 2) Think-aloud 관찰, 3) 포커스 그룹, 4) 개인 인터뷰. 데이터 수집 과정을 통해 앱 사용자들의 태도 또는 심리적 특성을 보여주는 태도 특성 데이터 (attitudinal data)를 얻을 수 있었다. 이전 포스팅에서 언급했듯이 이 프로젝트에서 데이터를 통해 이해하고자 하는 것은 앱 사용 편의성 및 개선 방안이므로, 실시간 관찰과 대화를 통해 데이터를 수집할 수 있는 방법들을 선택한 것이다. 

정성적 데이터 (qualitative data): 상품/서비스의 품질 또는 특성을 설명하는 데이터. 설문지, 인터뷰 또는 관찰을 사용하여 수집되며, 서술 형식으로 자주 나타난다. 응답자들이 자유롭게 자신의 생각을 표현할 수 있다는 점이 장점이다 (간혹 단점이 되기도). 범주형 데이터 (categorical data)라고도 하는 이 데이터 유형은 반드시 숫자를 사용하여 측정하는 것이 아니라 속성, 레이블 및 식별자를 기준으로 분류되기도 한다.  

수집된 로우 데이터 (raw data)는 대부분 응답자들의 답변을 문자 그대로 받아 적어 둔 스크립트 형태였다. 우리는 이러한 데이터를 통해 앱 사용 편의성 및 사용자 경험에 대한 대표 주제들을 뽑아낼 수 있는 데이터 분석 방식이 필요했다. 따라서 우리는 주제 분석 (thematic analysis) 방식을 선택했고, 주제 분석을 위한 다양한 기술들을 검토한 끝에 친화 도법, 혹은 어피니티 다이어그래밍 테크닉 (affinity-diagramming techniques)를 사용하기로 했다. 

어피니티 다이어그램이란 특정 주제에 대하여 프로젝트 팀원들의 아이디어를 취합하여 관련성이 있는 아이디어들끼리 한데 묶어 분류, 정리함으로써 문제 해결의 방안을 찾아내는 기법이다. 다시 말해 수집한 데이터를 모두 리뷰한 후, 공통점을 띄는 자료들을 그룹으로 묶어 분류하고, 각 그룹을 대표하는 인사이트를 도출하는 기술이다. 

보통 팀원들이 한 자리에 모여 색색깔의 포스트잇에 데이터를 적어 벽에 붙였다 떼었다 하는 과정을 거치지만, 우리는 세계 각국에서 모여 온라인으로 진행한 프로젝트의 특성상 구글 잼보드 (Google Jamboard)를 활용하였다. 이름하야 '디지털' 어피니티 다이어그래밍... (코로나 썩 물러가라)

수집된 데이터를 요리조리 뜯어본 결과 네 가지 큰 주제들로 좁혀졌다: 1) 사용자 경험 (UX), 2) 앱 인터페이스, 3) 앱 내 환경 및 다른 사용자들과의 상호작용, 4) (교사 응답자만 해당) 수업에서의 앱 활용 경험. 

그리고 각 주제와 코드에 맞는 데이터들을 정리하다 보니 긍정적이거나, 부정적이거나, 중립적인 데이터별로 다시 정리하게 되었고, 사용자들이 제시한 앱 개선 사항들 역시 따로 항목을 만들어 관리하게 되었다. 데이터를 싹 정리하고 보니 큰 주제별로 사용자 경험 전반을 이해할 수 있는 그림이 그려졌다. 사용자들이 앱을 사용해보면서 느낀 감정뿐만 아니라 앱 사용 방법을 터득한 과정, 그리고 그들의 사용자 경험에 영향을 미친 요인들이 무엇인지도 알게 되었다. 수차례 거듭 언급된 내용은 텍스트 마지막에 (+ 언급된 횟수) 사인을 덧붙여두어 가장 자주 언급된 내용들을 쉽게 파악할 수 있도록 했다. 참여자 보호 차원에서 데이터 정제 시 모든 개인정보 (이름, 직업, 국적 등)를 삭제하고 참여자의 발언만을 발췌하였다. 

이런 식으로 주제별로 시사점을 분석하고, 그것을 뒷받침할 수 있는 정보를 정리해두었다. 마지막으로는 데이터를 이해당사자들에게 도움이 되는 방향으로 해석해보았다. 직접 앱을 개발한 이해당사자들에게 앱은 자식과도 같을 것이다. 그런 그들에게 앱의 부족한 점이나 개선할 점들만 주야장천 들이민다면 아마 듣고 싶지 않을 것이다. 데이터 해석 파트에서 가장 많이 고민했던 부분은 우리가 데이터 분석을 통해 얻은 정보를 어떻게 하면 가장 효과적으로 이해당사자들에게 전달할 수 있을지였다. 그들이 우리의 이야기에 귀를 기울일 수 있도록 하면서, 동시에 앱의 현재와 미래에 대해 솔직하게 논의할 수 있는 방법 말이다. 일단 큰 주제별로 앱의 강점을 먼저 논하기로 했다. 그런 다음 사용자들의 부정적 발언들은 '앱의 단점' '사용자 불만사항' 같은 부정적 표현 대신 '사용자들이 앱을 사용하면서 마주친 장애물들 (barriers)'라고 살짝 돌려 표현하기로 했다. 개선사항 역시 더 나은 앱을 만들기 위해서는 'A를 하시오' 'B를 하지 마시오' 'C를 바꾸시오'와 같은 명령어가 아니라 'B는 어떻게 바꿀 수 있을 것 같아요?' 'C는 꼭 필요한가요?'와 같은 질문 형식으로 제시하여 이해당사자들이 직접 고민해볼 수 있도록 유도했다. 우리가 사용자들로부터 수집한 개선사항 데이터는 추후 예시로 제안할 수 있을 것이다. 

다음 주에는 형성평가 수업에서 다른 프로젝트를 진행 중인 학생들과 한자리에 모여 각 프로젝트 진행 및 관리 경험과 데이터 분석 결과를 공유하는 프레젠테이션을 진행한다. 그렇게 학생들과 교수님의 피드백을 받은 후, 이해당사자들 앞에서 2차 프레젠테이션을 하게 된다. 수업 첫 주의 막막함이 아직도 생생한데 벌써 한 학기가 거의 끝이 났다. 과연 가능한 것인지 물음표 투성이었던 프로젝트도 어찌어찌 시간을 맞추어 결과물을 만들어내고 있는 게 신기하다. 결코 혼자서는 못할 일이었다.