진료실에서의 대화는
AI 기록 도구에게 여전히 외계어
카카오벤처스 디지털헬스케어 뉴스_20230221
"앞이 잘 보이세요?"라고 의사가 묻자, 환자는 "으음"이라고 중얼거리며 대답했습니다. "틀니에는 문제가 없나요?” 의사가 이어서 묻자 이번에는 환자가 “음”이라 대답하며 모든 것이 괜찮다고 암시했습니다. 진료실에서 이야기하는 두 사람은 서로 이 대화의 흐름을 이해할 수 있습니다. 하지만 이 대화를 기록하는 자동 음성 인식 도구는 그렇지 못했는데요. "으음"이라는 환자의 중얼거림은 전혀 제대로 입력되지 않았습니다. "앞이 잘 보이세요?"라는 질문은 명확하게 기록되었지만, 환자의 대답은 "그것은"으로 문맥상 터무니없게 기록되었습니다.
오늘 디지털 헬스케어 레터는 의료 상담 기록을 자동화하는 AI 도구가 실제로 어떠한 수준의 효능을 보이고 있는지를 분석하는 기사를 다룹니다.
의료인은 AI 도구를 사용함으로써 의무기록을 작성해야 하는 부담을 줄이기 위해 노력하고 있습니다. 하지만 최근 연구에 따르면, 의료 대화를 기록하기 위한 음성-텍스트 엔진이 임상적 의미를 내포한 "비언어적인 대화 소리"를 정확하게 녹음하고 있지 않는다고 합니다. 병원에서 쓰일 수 있는 대화 기록 AI를 개발하는 과정에서 해결해야 할 핵심 과제는 바로 이러한 대화의 캐주얼한 부분을 올바르게 기록하고 해석하는 방법을 찾는 것입니다.
"병원에서 저는 의사로부터 받는 질문에 ‘그렇습니다’가 아닌 '으음'이라고 대답합니다. 만약 AI 기록 도구가 그것을 제대로 이해할 수 없다면, 이것은 심각한 문제를 일으킬 수 있습니다"라고 캘리포니아 대학의 정보학 및 응급 의학 교수인 Kai Zheng이 이야기했습니다. AI 기록 도구가 저 지르는 이러한 실수들은 인간이 대화하는 동안 얼마나 많은 무의식적인 해석을 하는지를 보여줍니다. 그리고 그것은 여전히 기계가 이해하기 어려운 영역이라는 점 역시도 나타내고 있습니다.
미국 의학매체 스탯(STAT)이 널리 쓰이는 AI 기록 도구인 Trint를 사용하여 발언을 기록했을 때, "non-"과 "volume"이라는 단어가 잘못 기록되었는데, 이는 Kai Zheng이 지적한 또 다른 문제로 이어집니다. 바로 음성 인식 엔진이 종종 비언어적인 것뿐만 아니라 언어적인 차원에서도 오류를 낸다는 점인데요. 복합적인 오류의 가능성은 실제 시나리오에서 이러한 도구의 사용을 더욱 복잡하게 만듭니다.
최근 미국의학정보학협회 저널에 발표된 Kai Zheng의 연구에서, 2007년과 2009년 사이에 녹음된 1차 진료 방문의 36개 데이터 세트를 조사했습니다. 연구원들은 구글의 클라우드 음성-텍스트 키트와 아마존의 의료용 기록 엔진으로 이 녹음들을 각각의 임상 대화 모델을 사용하여 기록했습니다.
연구진은 3,000 여개에 이르는 "비언어적인 대화 소리"를 찾아냈고 이 가운데 임상적으로 의미있는 답을 포함하고 있는 것과 환자가 자신이 지금 듣고 있다는 것을 보여주는 소리를 구분하였습니다. 임상적으로 중요한 정보를 전달하는 76개의 소리 중 무려 87%가 구글 ASR을 사용하여 잘못된 단어로 대체되었으며, 아마존에서는 34%의 대체 오류가 발생했습니다. 반대로 임상적으로 관련된 "비언어적인 대화 소리"의 65%가 아마존 모델에서 삭제된 반면, 구글 툴에서는 오직 8%가 삭제되었습니다.
"대화 흐름상 매우 중요한 위치에서 '으음'을 삭제하는 것은 꽤 심각한 영향을 미칠 수 있는데, 특히 미래에 의사들이 이런 식의 요약에 익숙해질 수 있고 그들이 책임져야 할 많은 다른 데이터 중에서 중요한 정보를 놓칠 수도 있습니다" 라고 의과학 박사 수료생인 트란(Tran)이 말했습니다.
비록 서류상으로는 이상해 보이지만, 인간의 대화에서는 너무나 자연스러워서 종종 화자와 청자들이 눈치채지 못하게 지나가는 것들도 존재합니다. 의사가 환자에게 특정 약물을 가지고 있는지 물었을 때, 환자는 "아니요, 저는 가지고 있지 않습니다”라고 대답했다가 2초 후에 "아, 사실, 저는 가지고 있습니다."라고 말할 수도 있습니다. AI 기록 도구는 여기서 문서화할 실질적으로 정확한 정보가 무엇인지 파악해야 합니다.
유감스럽게도 Zheng 교수는 AI 플랫폼이 환자 방문을 기록하고 해당 문서를 자동으로 생성할 수 있기까지는 오랜 시간이 걸릴 것이라고 주장합니다. 그는 언제 완전한 의료 기록의 자동화가 가능할지에 대한 추정치를 제시하는 것을 주저했으며, 이 자동화가 사람 없이 완전히 이루어질 수 있을지는 불확실하다고 말합니다.
음질이 나쁘고, 일반 환자가 이야기하는 내용을 의학 용어로 번역해야 하는 과정에 이르기까지 너무 많은 복잡성이 있어서 자동으로 생성된 의료 기록 문서를 100% 신뢰하기는 어려울 것이라고 하는데요. 그럼에도 불구하고 거의 완벽에 가까운 기록 문서를 이용할 수 있는 것만으로도 의사들의 부담을 절반으로 줄여주고, 시간을 절약하여 환자들의 경험을 향상시킬 수 있다고 합니다.
KV's Note
ChatGPT 열풍이 불면서 이를 의료 업무에 어떻게 활용할 것인가에 대한 논의가 많습니다. 진단 보조 인공지능과 같이 의사의 진료 행위 자체에 도움을 주는 도구보다 서류나 의무 기록 작성과 같은 행정 보조 도구의 가치가 부각되고 있습니다. 하지만 이번 기사를 보면 의료와 같이 사소한 실수가 큰 차이를 만들 수 있는 환경에서는 여전히 새로운 도구의 사용은 조심스럽다는 생각을 들게 만듭니다.
