병원이 진짜로 원하는
의료 인공지능은?
카카오벤처스 디지털헬스케어 스터디_20240723
KV's Note
의료 인공지능의 주요 사용자는 의료인이기 때문에 그 가치를 명확하게 설명하여 사용 의지를 이끌어내는 것이 중요합니다. (물론 지불 의향은 또 다른 문제입니다.) 실제 의료 인공지능의 설계에 참여한 의료인조차도 자신의 제품을 다른 동료나 같은 업종의 사람들에게 설명할 때, 많은 의료인이 의료 인공지능에 대한 관심이나 이해도가 높지 않음을 느낍니다. 어떤 가치와 장점을 제공할 수 있는지 명확하게 설득하기 위해서는 무엇을 우선적으로 전달할지 참고하였으면 좋겠습니다.
7월 4주 차 디헬 이슈
병원이 진짜로 원하는
의료 인공지능은?
2023년에 발행된 한 의료인공지능 연구에 따르면, 89명의 의료인을 대상으로 의료인공지능의 도입에 대해 인터뷰한 결과 실사용자인 의사들은 인공지능을 제대로 평가하거나 비교하는 데 어려움을 느낀다고 밝혔습니다. 때문에 '인공지능 도입을 결정하는 주체'는 실사용자가 아닌 비즈니스 관리자인 경우가 많고, 이는 의료 분야에서 AI 사용 및 통합을 둘러싼 조직적 거버넌스가 제대로 구축되어있지 않다는 결론으로 귀결됩니다.
우리의 노력이 헛되지 않으려면, 인공지능의 실제 사용자들인 의료인들을 어떻게 설득해야 할까요? AI 알고리즘 연구자들이 의료진이 실제로 AI를 사용하는 맥락을 이해할 수 있도록 돕기 위해, 오늘 뉴스레터에서는 의료AI 모델을 병원에 소개할 때 고려해야 할 다섯 가지 사항에 대해 살펴보겠습니다.
1. 의료인에게 친숙한 지표로 설명해주세요
의료인이 진단이나 치료 효과를 평가할 때에는 민감도, 특이도, 치료 필요 수(NNT; Number-Needed-to-Treat), 양성예측도(PPV)와 같은 지표를 활용합니다. 그러나 AI 모델의 성능을 평가할 때에는 민감도, 특이도, 양성예측도 뿐만 아니라 곡선하 면적(AUC)이 중요한 지표로 등장합니다. 염두에 두어야 할 것은, AUC는 알고리즘 개발자들에게는 익숙할지라도 병원의 사람들에게는 친숙하지 않다는 점입니다.
더불어 의료인은 편향되거나 부정확한 표현을 지양하기 때문에, 인공지능모델의 성능을 단일 수치로 요약하여 단순화하는 AUC 지표보다는 아래와 같이 포괄적인 정보를 제공하는 것이 오히려 혼선을 줄일 수 있습니다. 마치 약품의 라벨처럼, 모델 카드(Model Facts)는 사용하는 의료 AI 소프트웨어의 성능, 사용 범위 등 다양한 정보를 요약하여 제공합니다. 이러한 기술을 활용하면 적절한 환경에서 환자를 올바르게 치료할 수 있으며 이는 환자와 AI 모델 개발자 모두에게 이익이 됩니다.
*Fig. 1: 패혈증의 기계학습모델의 "모델카드(Model Facts)" 예시2. 사용된 AI 알고리즘의 벤치마크는 무엇인가요?
벤치마크는 일반적으로 머신러닝 알고리즘 모델의 성능을 비교하기 위해 사용됩니다. 그리고 의료AI에서의 벤치마크는 기존 진료 관행 또는 지침(가이드라인)입니다. 만약 알고리즘이 표준에서 벗어나는 경우, 어떤 방식으로 벗어나는지 명확히 명시해야 의료진이 의료용 AI 소프트웨어를 사용하여 정확한 진단을 내리고, 그 진단에 대한 책임도 질 수 있습니다.
3. In-sillico에서 작동한 것이 실제(real world)에서 잘 작동할 수 있나요?
상당수의 의료AI는 실제 병원에서 다소 낮은 성능을 보입니다. 제품 자체의 문제인 경우도 있지만 실제 병원 환경에서 사용되면서 사용하는 의사에 따라 다르게 동작하는 경우도 부지기수입니다.
한 연구에 따르면 AI가 방사선 사진 진단의 정확도에 미치는 영향은 의사마다 달랐으며, 의사마다 달랐던 이유는 상호작용의 차이에서 기인하였습니다. 인간과 AI의 상호작용 분야는 앞으로 몇 년 동안 성숙해질 전망이며, 이를 통해 AI를 언제, 어디서 사용할지에 대한 더 나은 정보를 제공할 수 있기를 기대합니다.
4. 온보딩, 튜토리얼 세션이 없는 직관적인 프로그램을 만들어주세요
혹시 자녀가 아이폰을 너무 쉽게 다루는 모습을 보신 적이 있나요? 아이폰은 한 번의 터치만으로도 사용법을 파악할 수 있지만, 병원 소프트웨어는 그렇지 않습니다. 기나긴 불평을 듣고 싶지 않다면 의사 친구에게 전자의무기록(EHR) 교육에 대해 묻지 않는 것이 상책이라는 말이 있을 정도로, 병원에서 사용되는 소프트웨어는 사용자 친화적이지 않습니다.
의료진이 환자를 치료하기 위해 거치는 의사결정 과정은 이미 복잡합니다. 여기서 하나의 단계를 추가하는 것은 환자의 즉각적인 치료에 방해될 수 있습니다. 따라서 매번 사용할 때 높은 초기 비용을 요구하지 않고 신속하게 활용할 수 있는 직관적인 의료용 AI 소프트웨어를 개발하는 것이 전반적인 치료의 질을 향상하는 데 중요한 역할을 할 것입니다.
5. 내 (환자의) 데이터는 어떻게 사용할 계획인가요?
혹시 어딘가에 판매할 목적으로 처방 데이터를 수집하는 것은 아닌지 의심이 들 때가 있습니다. 많은 환자는 자신의 의료 기록 데이터가 비윤리적으로 사용되지 않을 것이라는 확답을 받지만, 의료인들은 이에 대해 충분히 고지받지 못하는 경우가 많습니다. 의료용 AI 소프트웨어 개발자들은 의료진의 환자 데이터가 어떻게 사용될 것인지 투명하게 공개해야 합니다.
*Sendak, M.P., Gao, M., Brajer, N. et al. Presenting machine learning model information to clinical end users with model facts labels. npj Digit. Med. 3, 41 (2020).
카카오벤처스가 제공하는 디지털 헬스케어 이슈를 매주 확인하고 싶다면?
▼ 다른 주제의 디지털 헬스케어 스터디도 확인해 보세요!
