데이터에 기반한 키오스크 UI 개선 사례 - 논문 리뷰
UX논문 리뷰- (1)
논문명(apa)
Kusumawati, R. E., Muslim, E., & Nugroho, D. (2020, May). Usability testing on touchscreen based electronic kiosk machine in convenience store. In AIP Conference Proceedings (Vol. 2227, No. 1, p. 040027). AIP Publishing LLC.
키오스크는 오늘날 많은 곳에서 사용되고 있다. 무인 민원 발급기, ATM, 공항, 음식점, 카페 등 키오스크가 도입되는 곳은 시간이 지남에 따라 점차 넓어지고 있으며 아마 먼 훗날엔 키오스크는 어쩌면 지금의 스마트폰처럼 당연한 도구 중 하나로 자리 잡게 될 수도 있을 것이다. 하지만 아직은 키오스크를 사용하는 것이 불편하다는 의견이 많다. 실제로 본격적인 실험에 돌입하기 전, 인도네시아에서 편의점에 있는 키오스크를 한 번도 사용하지 않은 18명의 피험자 중 절반 이상이 키오스크 UI와 화면이 어렵게 느껴졌다고 응답한 선행 연구가 있을 정도다.
불편하다는 것을 어떻게 구체적으로 표현할 수 있을까?
시스템이 어느 정도 사용하기 쉬운지 알 수 있는 사용성을 어떻게 수치화하여 표현할 수 있을까?
이 질문에 답을 내리기 위해 수많은 UX 연구자들이 유용한 UX 방법론들을 만들었으며 본 논문에서는 세 가지 방법론을 이용해 키오스크의 사용성을 수치화하여 비교&분석하고 디자인을 개선하여 개선이 잘 되었는지를 논리적으로 풀어내고 있다.
Questionnaire for User Interaction Satisfaction (The University of Maryland가 저작권을 갖고 있어서 풀 버전을 구하려면 따로 문의를 넣어야 한다)
실험 수행 및 결과
Performance Measurement
데이터 수집
본 논문에서 피험자들은 여러 tasks를 수행하였고 그들이 수행하는 모습을 전부 녹화했다. 녹화하는 과정에서 task를 완료하는데 걸리는 시간을 스톱워치를 사용해 기록했다.
데이터 분석
10명의 피험자들이 Task 1~3을 수행하는데 걸린 시간(초). Task 2를 실행할 때 A 키오스크에 발생한 문제 때문에 시간 데이터는 Task 1과 Task 3만 비교했다.도표의 'error'은 피험자가 주어진 Task를 수행할 때 잘못된 플로우를 타거나 도중에 포기할 때 기록되었다. 따라서 'error' 지표가 많다는 것은 사용자가 정보를 탐색하기에 적합하지 않다는 의미로 볼 수 있다.
수집한 데이터는 독립적이지 않은 두 표본집단(Task 1, Task 2)이 있고 독립변수는 1개다(키오스크 I, 키오스크 A 두 가지 키오스크로 실험을 진행했다). 게다가 종속변수는 걸린 시간(초)이고 피험자 10명에 대한 평균 시간 데이터가 존재한다. 먼저, 두 집단 간의 평균 차이가 유의미한지 검증하기 위해 t-test, 그중에서 paired t-test를 이용해 데이터를 분석했다.
분석 결과, Task 1, Task 3 둘 다 p-value가 0.05보다 적으므로 정규분포를 따르고 평균값들은 유의미한 차이를 갖는다. 즉, 키오스크 I가 키오스크 A에 비해 주어진 Task를 끝내는 것에 드는 평균 시간이 짧다(성별 차이에 대한 p-value는 유의미한 값이 아니었다).
이 결과는 성별, 연령 등 인구통계학적 요인이 수행한 테스트에서 유의미한 결과를 보이지 않는다는 Zollet(2010)의 이전 연구에 따른 것이다.
Think Aloud
데이터 수집
Think Aloud는 UI와 관련된 시스템을 사용할 때 누군가의 응답을 캡처하는 것에 유용한 방법론이다. 본 논문에서는 Retrospective Think Aloud 방법론을 이용해 정성적인 데이터를 수집한다(실제로 Think Aloud 방법론은 사용자 관점에서 사용성 문제나 디자인 이슈의 원인이나 인사이트를 수집하는 것에 매우 유용한 방법론인 것으로 알고 있다). 인터뷰 전, 피험자들은 키오스크 사용에 대해 몇 가지 tasks(아마 이 단계에서 Task Analysis 방법론을 곁들인 것 같다)를 수행하면서 여러 인사이트나 불편하다고 느낀 점 등을 말하고 UI 및 사용성에 대해 토론한다.
데이터 분석
Think Aloud로 수집한 데이터는 정성적인 데이터다. Table 2는 키오스크 I에서 의 (a), (b), (c)는 각각 Task 1, 2, 3에서 얻어낸 데이터를 의미한다.
System Usability Scale
데이터 수집
다음으로 System Usability Scale 방법론에서 제시하는 리커트 척도를 이용한 사용성 검증 질문들을 통해 키오스크 사용성에 대한 사용자의 주관적 데이터를 수치화하여 수집했다.
데이터 분석
키오스크 I와 키오스크 A의 UI 레이아웃 사용성에 대한 SUS 평가 결과Table 3의 결과를 해석하기 위해선 시스템이나 체계가 높은 사용성을 갖고 있는지를 판단해 줄 특정 척도가 필요하다. 그 척도는 Figure 1의 척도(Bangor, Kortum, Miler(2009))를 인용했다.
"Worst Imaginable", "Poor", "Ok", "Good", "Excellent", "Best Imaginable" 기준은 Figure 1을 참고하여 만들어졌다.Table4를 보면 키오스크 I가 키오스크 A보다 사용성이 좋다고 할 수 있다. 왜냐면 점수가 상대적으로 높은 기준에 몰렸기 때문이다.
Questionnaire for User Interaction Satisfaction
데이터 수집
SUS(System Usability Scale) 설문을 피험자들에게 돌린 뒤에 QUIS(Questionnaire for User Interaction Satisfaction) 설문을 실시했다.
데이터 분석
QUIS 시험지는 라이선스를 따로 구입해야 풀버전을 볼 수 있다.QUIS 결과를 보면 키오스크 I의 평균 사용성 점수가 키오스크 A보다 월등히 높다는 것을 확인할 수 있다. QUIS 결과는 RTA, SUS의 결과 또한 뒷받침할 수 있어서 키오스크 I의 사용성이 키오스크 A보다 높다고 결론지을 수 있다.
키오스크 A의 디자인 개선하기
컬러 개선
실험 결과에서 키오스크 A의 UI는 너무 어둡다고 했다.
(a)는 키오스크 A의 초기 디자인, (b)는 키오스크 A의 개선된 디자인이다.키오스크 A에서 주요 Task를 하기 위해선 오른쪽 영역에 위치한 "E-TRANSACTION SERVICE", "A-APP"을 이용해야 했다. 하지만 주요 CTA 버튼들의 background-color는 어두운 푸른색이고 화면 전체의 background-color는 검은색(#000000)이었고 이는 사용자의 시선을 끌기에 좋지 않은 조합이다. 따라서 CTA 버튼들의 background-color를 밝은 계통의 노란색으로 디자인하여 사용자의 시선을 끌기 용이하게 개선했다.
전체 background-color는 light gray 컬러로 바꾸고 CTA 등 메인 버튼은 노란색으로 디자인되었고 광고 등 사용성을 해치는 요소는 제거하였다리디자인을 끝내고 키오스크의 효율성이나 사용성이 증가했는지 검토하기 위해 검증 실험을 실시했다. 실험 방식은 앞서 사용자 데이터를 수집할 때 썼던 방법론과 동일하게 진행되었으며, t-test를 실행한 결과 새로 디자인한 화면(b)과 기존 화면(a)은 Task 1과 Task 2에서 각각 유의미한 관계에 있다는 것을 확인할 수 있었다(p-value 참고).
Figure 1의 척도를 이용해 SUS 분석을 실시한 결과 기존 디자인 시안의 SUS 척도 값은 대체적으로 "OK" - "F"였지만 개선한 디자인의 SUS값은 "Good ~ Excellent" - "B"로 크게 개선됐다.
리뷰 소감
사용성을 개선하는 것, 즉 기존 제품의 디자인을 개선하는 것은 매일 하는 업무이다. 나는 현재 회사에서 UX UI 디자인 겸 기획 업무를 하고 있는데 대부분의 결정 기준이나 방향성을 수립할 땐 직관에 의해서, 그리고 상부의 탑다운식 명령에 의해 결정되는 경우가 종종 있다. 또한 디자인을 개선했어도 '이게 더 나은 것 같다'처럼 직관이나 윗사람의 취향에 의해 결정되는 경우가 부지기수이다.
디자인이라는 분야는 심오한 이해와 공부가 필요한 전문 분야라고 생각한다. 사용성 개선은 특히 전문 지식이 중요한 분야이기 때문에 본 논문에서 다룬 것처럼 여러 사용성 테스트 방법론이 존재하고 이를 활용한 연구들이 적극적으로 이뤄진다고 생각한다. 본 논문에서 제시한 실용성 있는 방법론을 실무에 적용해서 디자인이라는 비교적 추상적인 개념을 구체적인 지표로 수치화하여 팀 구성원들에게 공유한다면 디자이너로서의 타당성과 근거를 바탕으로 구성원 간 커뮤니케이션에 더 유리할 것 같다.
Fin. 디자인은 스토리가 있는 과학이다.
