보험사가 AI 활용에 대해
당당할 수 없는 이유
카카오벤처스 디지털헬스케어 스터디_20240604
KV's Note
보험업에서 서류 처리, 청구의 변화 추세를 모니터링하고 유추하는 등의 기능에는 활용되더라도 치료의 승인-불승인과 같이 가장 핵심적인 판단 기능에까지 도입하는 것에는 상당한 우려가 있음을 보여줍니다. 의료에서도 판단이 들어가는 영역에 AI가 도입되는 것에 대해 쉽게 경계를 내려놓지 않고 있습니다. 아직 관련된 컨센서스가 형성되는 과정에 있기 때문에, 보험업과 의료 같은 보수적인 사업에서 기회를 찾고 있다면 benefit보다 risk에 더 신경을 쓴다는 관점에서 이를 보완할 수 있는 하방에 대해 관심을 가져볼 수 있겠습니다.
6월 1주 차 디헬 이슈,
보험사가 AI 활용에 대해 당당할 수 없는 이유
많은 보험사들은 '인공지능의 활용을 늘리고 있으며, 관련 인재를 적극적으로 채용한다'고 말합니다. 실제로 Elevance, Molina, Cigna 등 많은 보험사들은 AI 개발을 위해 대규모 투자와 채용을 진행 중입니다. 그러나 이들이 구체적으로 어떤 AI 모델을 사용하고, 어떻게 개발하고 있는지, 어디에 사용하는지에 대해서는 쉽사리 공개하지 않고 있습니다.
AI를 도입한 이후 여러모로 도전을 받고 있는 보험사의 사례를 통해, 헬스케어 산업은 어떤 함의점을 찾을 수 있을까요?
의료컨설팅사 Gartner에 따르면 보험사가 AI를 사용하여 잠재력을 끌어낼 수 있는 세 가지 분야는 사기 청구 탐지, 계약 간의 성과 비교, 치료과정 이행 관리라고 말합니다. 보험사들은 인공 지능 모델이 '효율성을 높이고 비용 절감을 할 수 있다'고 말하지만 자세한 용도에 대해서는 논의를 거부했습니다.
다만 몇 가지 밝혀진 사례는 다음과 같습니다.
Cohere Health는 비용 관리의 측면에서 AI를 통해 특정 항목에서 사전 승인 요청이 급증하는지 감지하면 보험 관리자에게 플래그를 띄우고, 거시적으로 어떤 정책이나 멤버십 변경이 영향을 미쳤는지 파악합니다. 이렇게 수집한 정보는 향후 재정 전략을 설계하는 데 활용합니다. 예를 들어 혜택 및 플랜 조건을 조정하거나 연방에서 규정한 의료 보험료 지출 최소 금액을 달성하기 위해 다양한 계약을 협상하는 등의 작업이 포함됩니다.
또한, Cohere는 사람이 일일이 들여다보기 어려운 개별 사례 수준에서 보험 적용을 빠르게 검토하는 데 사용된다고 밝혔습니다. 예를 들어 물리치료는 통상적으로 6~8회 방문하면 증상이 호전되는데, 한꺼번에 많은 횟수를 사전승인 요청한다면 이 사람의 현재 질병상태를 기반으로 과정이 실제로 필요한 도움인지 확인하고 이후 승인을 시행한다는 것입니다. 일괄적으로 처리했다면 승인되지 않았을 사례도 AI를 통해 검토 여력이 증가하면서 개인화된 심사가 가능하다는 점을 사례로 들고 있습니다.
Cohere 경영진은 보험사들도 내부적으로 이러한 사용 사례를 탐색하고 있다고 밝혔지만, 기업이 공개적으로 이야기하는 내용과 실제 사용하는 방법 사이에는 차이가 있을 수 있습니다. 서류 작업을 간소화하거나 사기를 단속하는 대신 진료 자원 배분을 위해 AI를 사용하고 있는지는 확실하지 않습니다. UnitedHealth Group의 CTO는 지난 컨퍼런스콜에서 UnitedHealth가 AI를 사용하는 세 가지 영역, 즉 관리 단순화, 데이터 과학 플랫폼, 임상 통찰력에 대해 설명했습니다.
하지만 실제로 내부 고발자에 따르면 UnitedHealth는 AI를 사용하여 진료 자체에 영향을 줄 수 있는 결정을 내렸습니다. UnitedHealth가 AI를 사용하여 재활 치료를 받아야 할 메디케어 어드벤티지 대상자들에게 치료 일수를 제한하였던 일인데요. 이로 인해 많은 환자들이 적절한 치료를 받지 못했던 이 사건은 작년 가을 소송으로 이어졌습니다.
이처럼 보험사가 어떻게 AI를 활용하는지 공개하지 않는다는 점은 환자들의 불안감으로 이어집니다. 환자 옹호 단체는 'AI가 환자가 아닌 큰 보험사, PE의 지원을 받는 의료시설의 입장에서 사용된다면 AI는 치료를 최소화하고 더 많이 청구하는 방향으로 흘러가지 않느냐'라는 반응입니다.
AI 모델의 편향성 또한 문제로 여겨집니다. 예를 들어, UnitedHealth의 자회사 Optum의 알고리즘은 흑인 환자에 비해 백인 환자에게 추가 치료를 더 많이 추천하였다는 사실이 밝혀졌습니다. 당연히 인종 차별적인 데이터를 학습시키지 않았음에도 불구하고, 흑인 환자들이 동일한 수준의 질병에도 더 적은 비용으로 치료를 받았었다는 과거 데이터들로 인해 문제가 발생했던 것입니다. 의도되지 않았더라도 수집된 데이터 자체가 편향되어 있을 수 있기 때문에 AI는 공정성을 잃게 되고 궁극적으로 환자에게 해를 끼칠 수 있습니다.
UnitedHealth 사건 이후로 이후 연방 규제 기관은 AI를 이용한 치료 결정에 대해 더 엄격한 규제를 도입했습니다. 특히 Medicare Advantage 보험사들이 AI를 사용해 치료를 거부하는 것을 방지하기 위한 새로운 규제가 만들어졌습니다. 이에 대해 보험업계는 불편한 기색을 보입니다. 보험사를 대표하는 이익단체인 그룹인 미국 건강 보험 계획(America's Health Insurance Plans)은 'AI와 알고리즘을 (이미 보험업에서) 오래되고 널리 사용되는 기술과 동일시하지 않았으면 한다'는 강한 어조의 회신을 보냈습니다. 보험업계는 한편으로 의료 AI 규제를 의무가 아닌 선택사항으로 만들고 업계의 현 알고리즘이 규제에 영향을 받지 않도록 하기 위해 미국 의회에 로비를 동시적으로 진행하고 있습니다.
AI의 도입이 무조건 나쁘다고 말할 수는 없습니다. 전문가들은 사전 승인 문서에서 관련 정보를 추출하여 잘못된 거부 횟수를 줄이거나 비용을 고려하여 환자에 대한 예상 치료 효과를 보다 가시적으로 제시하는 등 분명히 기여하는 분야가 있다고 말합니다. 그러나 이러한 응용 프로그램은 AI가 잘 훈련되고 투명하게 이루어졌을 때에만 환자의 신뢰를 얻습니다.
AI의 이점을 극대화하고 잠재적인 피해를 방지하기 위해 오늘날 보험업에서 필요한 것은 모델 관리라고 말합니다. 즉, 기업은 모니터링을 위해 모든 AI 모델에 사용 중인 프로토콜과 절차 목록을 보유해야 합니다. 그래야 고객을 대면하는 AI가 잘못되거나 편향된 결과를 내는 문제가 있다면 돌아가서 '이게 우리가 이것을 프로덕션에 투입하기로 결정할 때 사용한 프로세스와 절차였습니다'라고 밝히고 해결책을 강구할 수 있다는 것입니다. 그러나 AI에 대해 위와 같이 생각하는 의료와 헬스케어 경영진은 드뭅니다. AI에 자발적인 거버넌스와 보안을 기대할 수 없다는 점에서 임상적인 활용은 제한될 수밖에 없습니다.
카카오벤처스가 제공하는 디지털 헬스케어 이슈를 매주 확인하고 싶다면?
▼ 다른 주제의 디지털 헬스케어 스터디도 확인해 보세요!
