의료 서비스의 사용성 테스트-형성평가, 총괄평가
UX 디자이너에게 제품 개선의 근거가 되는 데이터는 무엇보다 중요한 재료이자 도구입니다. 데이터를 수집하는 방법은 정말 많고, 수집할 수 있는 데이터의 종류도 다양합니다. 대표적으로 실시간 활성화 유저 수, 가입자 수, Funnel 분석 등 많은 종류의 데이터가 있습니다. 그리고 이번 글에서 이야기 하려는 사용성 테스트를 통해 발견하는 사용성 점수도 중요한 데이터 중 하나입니다.
사용성 테스트란 제품이 얼마나 사용하기 편한가를 측정하는 실험입니다. 사용성이 좋은 제품은 별다른 학습이 필요없이 쉽고 빠르게 이해할 수 있으며, 사용에 걸림이 없고, 시간이 지나도 사용법을 잊어버리지 않습니다. 이러한 특성은 모든 제품에 중요하지만, 특히 의료기기, 의료 소프트웨어에서도 중요하게 고려하고 신경써야 합니다. 사람의 생명과 연결되어 있는 의료기기의 사용이 어렵다면 그만큼 실수가 일어날 확률이 높다는 것을 의미하니까요.
의료 분야에서는 사용성을 사용적합성이라는 용어안에 포함하여 부르며, 사용적합성 엔지니어링이라는 제작 프로세스 안에서 함께 다뤄지고 있습니다. 사용적합성 엔지니어링 프로세스에서는 다른 분야의 사용성과 같이 제품이 사용하기 편한가를 측정하고 문제를 발견하여 개선하게 되어 있습니다. 그러나 약간 다른 부분이 존재하는데 이는 위험과 관련된 부분을 중요하게 다룬다는 것입니다. 요약해보면 '사용적합성 = 사용성+위험관리'로 볼 수 있습니다.
사용적합성에서 위험에 대한 부분은 FMEA(Failure Modes and Effects Analysis)라는 위험관리 프로세스를 통해 보완합니다. 제품에서 일어날 수 있는 위험들을 미리 식별하여 정리하고 각 항목의 위험 통제 계획을 세워 통제 조치를 실시합니다. 그리고 사용적합성 테스트를 통해 위험 관리가 적절하게 이루어 졌는지 평가합니다.
예를들면, 아이콘 버튼의 크기가 작아 필요로 하는 버튼을 찾을 수 없다는 위험이 식별되었다면, 아이콘 버튼의 크기를 최소 몇 px 이상으로 지정한다는 위험 통제를 실시합니다. 그 후 제품 전체 UI에 대한 사용적합성 테스트를 진행하여 사용자가 아이콘 버튼을 제대로 인지하지 못하고 넘어가는 경우가 있는지 평가합니다. 위험 통제가 적절히 이루어졌다면, 아이콘 버튼을 잘 사용할 것입니다. 그러나 통제되지 않았다면, 아이콘 버튼을 사용하지 못하는 사용자가 발생할 것이고, 이에 대한 추가 통제조치를 취한 후 다시 위험 통제가 될 때까지 반복하게 됩니다.
대략적인 위험 통제 과정을 정리해보면 다음과 같습니다.
1. 제품을 설계한다.
2. 제품에서 발생할 수 있는 위험을 식별한다.
3. 제품의 위험을 통제한다.
4. 제품의 위험이 적절하게 통제되었는지 평가한다.
5. 통제되지 않은 위험을 찾아 통제한다.
6. 반복...
위 과정이 사용적합성 엔지니어링 프로세스의 전체이거나 정확한 과정은 아니지만, 실무에서 이루어지는 사용적합성 엔지니어링 프로세스는 대체로 위 과정을 따르고 있습니다. 이 중 '4. 제품의 위험이 적절하게 통제되었는지 평가한다.' 과정에서 사용적합성 테스트를 진행하고, 실험 참가자에게 제품을 사용하게 하여 평가를 실시합니다. 이 평가는 형성평가와 총괄평가로 나누어 진행됩니다.
형성평가는 사전 테스트. 총괄평가는 최종 테스트로 비유 할 수 있습니다.
형성평가는 사전 테스트 입니다. 빠르고 자주 실험을 진행하여 문제를 발견하고 개선하기 위한 실험입니다. 제품을 개발하고 있는 사내 인원을 대상으로 하여도 되고, 무작위로 인원을 섭외하여 진행하여도 됩니다. 그러나 제품의 정확한 검증을 위해서는 되도록 예상되는 사용자 군에 근접한 인원을 대상으로 진행하는 것이 좋습니다.
실험 시나리오는 실험 설계자 및 제품의 특성에 따라 달라질 수 있으나, 다른 사용성 테스트와 비슷하게 과제를 주고 실험 참가자가 수행하게 하는 방식으로 이루어지는 경우가 많습니다. 대표적인 방법은 실험참가자에게 간단한 안내와 최종 목표만 주고 제품을 자유롭게 사용하게 하고 발견되는 문제를 수집하는 방식과 미리 세세하게 사용자가 해야하는 과제(ex. ID와 Password를 입력하여 로그인 해주세요.)를 준비하고 각 항목이 잘 이루어지는지 평가하는 실험이 있습니다. 두 방식은 각자 장단점이 있으나 검증하고자 하는 주요 목표에 따라 취사 선택하여 진행하는게 좋습니다.
형성평가는 되도록 실험을 빠르게 진행하여 문제를 발견, 개선 후 다시 실험을 진행하는 것을 목표로 합니다. 실험이 거듭될수록 발견되는 문제가 적어지고 제품의 완성도가 높아지게 됩니다. 에자일 스프린트를 돌며 제품 개발 방향을 조정하고, 완성도를 높이는 과정과 닮아 있습니다. 제품의 사용성 개선이 충분히 이루어지고 위험 통제까지 적절히 이루어졌다면, 최종 검증 단계인 총괄평가로 넘어가게 됩니다.
총괄평가는 최종 테스트 입니다. 보다 완벽한 제품을 만들기 위해서는 제품 개선이 끝나지 않고 계속해서 개선을 해야 하겠지만, 의료기기는 어느정도 선에서 사용성 검증을 거친 후 인증을 받고 사용자에게 공급되게 됩니다. 인증 이후 제품 개선이 이루어진다면 그 경중에 따라 다시 인증 절차를 받아야 할 수 있습니다.
실험 진행시 특정 기관에서 진행 해야하는 강제성은 없지만, 국내 여러 의료기관에서 총괄평가를 시행하고 있고, 제품의 사용적합성에 대한 공인 인증을 받아 공신력을 확보하기 위해 보통은 기관에 의뢰하여 평가를 진행합니다. 서울대학교, 고려대학교 등에서 사용적합성 센터를 운영하고 있습니다.
기관에 연락하면 본격적으로 총괄평가 실험 준비를 진행하게 됩니다. 형성평가 결과를 정리한 문서를 비롯한 기관에서 필요한 서류 등과 실험에 사용될 자료등을 요청받고 준비합니다. 총괄평가는 기관에서 진행하기 때문에 실험 진행도 기관의 담당자가 진행하게 됩니다. 그러므로 실험 진행자를 학습시키기 위한 사전 학습 자료, 실험 참가자를 위한 영상 교육 자료 등도 준비하게 됩니다. 최종 평가이기 때문에 대체로 형성평가에 비해 더 많은 준비가 필요한 경우가 많습니다.
총괄평가의 목표는 제품의 사용성 문제가 없고 위험관리도 적절히 이루어져 제품이 사용되기에 문제가 없는 상태를 검증받는것 입니다. 그렇기에 총괄평가에서 사용하게 되는 실험 시나리오는 제품의 문제를 발견하는 것이 아닌 지금까지의 형성평가 실험 시나리오들을 기반으로 안정적인 시나리오를 작성하기를 권장합니다. 총괄평가를 진행하며 문제를 발견하면 문제를 개선하여 다시 총괄평가를 진행해야 하기 때문입니다. 실험 참가자들이 너무 자유롭게 제품을 사용하게 하면, 버그나 문제가 생길 수 있는 위험성이 생기게 됩니다. 물론 형성평가를 철저하게 진행하여 미연에 모든 문제를 잡아내어 완벽한 제품을 만드는 것이 이상적입니다. 그럼에도 실험에 앞서 어느정도 안전 장치를 마련하는 것은 나쁘지 않겠죠.
준비가 모두 끝나면 기관과 함께 총괄평가를 진행합니다. 제품의 주요 사용자 군(의사, 간호사, 병원 데이터 담당자 등)을 보통 15명이나 그 이상을 섭외하여 통제된 환경에서 실험 진행자의 진행에 따라 실험이 진행됩니다. 1시간 정도의 시간동안 제품 교육을 진행하고 제품 사용 후 간단한 인터뷰나 설문을 응답한 후 실험이 종료됩니다.
실험이 모두 종료되면 기관에서 결과를 취합하여 총괄평가 성적서를 발급해줍니다. 성적서에는 시나리오에 대해 Pass or Fail 여부, 참가자의 특이 반응, 어려워 했던 부분등에 대한 기록과 인터뷰 내용, 설문 답변 내용등이 포함됩니다. 제품의 사용성에 대한 특별한 문제가 발견되지 않음이 기록되면 사용적합성을 만족한 것으로 사용적합성 엔지니어링 프로세스를 종료하게 됩니다.
의료기기는 보통의 제품에 비해 긴 과정을 거쳐 사용성을 검증받습니다. 또한, 공인된 기관을 통해 보다 엄격하게 진행되지요. 이는 의료기기라는 특성이 큰 작용을 한다 생각합니다. 의사, 간호사 등 생명에 직,간접적으로 영향을 끼칠 수 있는 특수한 사용자가 환자를 대상으로 사용하기 때문일 것입니다. 그렇기에 디지털 프로덕트이든 실물 제품이든 만들어가는 절차에 대해 좀 더 엄격하더라고 이해하고 따라 가게 되는 것 같습니다.
여기까지 의료기기의 사용성 테스트인 형성, 총괄평가에 대한 정보를 작성해 보았습니다.
읽어주셔서 감사합니다.~
