규제기관에서 제공한 의약품 AI 개발 원칙: AI가 규제 안으로 들어온다
최근 미국 식품의약국(FDA)과 유럽의약품청(EMA)이 신약 개발 전 과정에서 AI 기술을 활용할 때 고려해야 할 10가지 원칙을 공동 발표했다.
발표 제목: EMA and FDA set common principles for AI in medicine development
https://www.ema.europa.eu/en/news/ema-fda-set-common-principles-ai-medicine-development-0
이번 공동 발표는 의약품 개발에서 AI가 어디까지 허용되는지를 규제 언어로 정의하려는 첫 시도에 가깝다. 발표 제목부터가 이를 잘 드러낸다. Guiding Principles of Good AI Practice in Drug Development. 여기서 핵심은 ‘AI’가 아니라 Good AI Practice라는 표현이다.
이 표현은 제약 업계 종사자라면 즉각적으로 떠오르는 단어를 연상시킨다. GMP, GLP, GCP. 즉, 특정 기술이 아니라 개발 행위 자체에 대한 신뢰와 재현성을 보장하기 위한 규범 체계다. FDA와 EMA는 AI를 하나의 도구로 보면서도, 그 도구가 개발 과정에 개입하는 순간을 초점 맞추어 보고 있다. 기존의 품질 시스템과 동일한 수준의 통제와 설명 책임이 필요하다는 메시지를 던지고 있다.
이 관점에서 보면, 모델의 성능보다 중요한 것은 데이터의 출처와 품질, 알고리즘의 변경 관리, 결과의 재현성, 그리고 사람이 개입하는 지점이 어디인지에 대한 명확한 정의다. 다시 말해, AI의 통제 가능성을 얘기하고 있다.
그래서 이 문서는 단발성 가이드라인이라기보다, 앞으로 등장할 규제 체계의 예고편처럼 보인다. GMP가 제조를, GLP가 연구를 규율하듯, 언젠가는 AI 활용 전반을 포괄하는 GAP(Good AI Practice)라는 개념이 공식 규제 언어로 자리 잡을 가능성도 충분하다. 그리고 AI를 썼다는 사실을 어떻게 설명하고, 어떻게 책임질 수 있는가가 될 것이다.
결국 FDA와 EMA의 이번 공동 원칙은 AI 시대의 의약품 개발이 기술 경쟁이 아니라 규제 친화적인 판단과 구조 설계의 경쟁으로 들어섰음을 명확히 보여주는 신호라고 볼 수 있다.
마지막으로 GAP에 대한 내용은 아래와 같다.
1. 인간 중심 설계 (Human-centric by design)
AI는 도구이며, 의약품 개발에서의 AI는 마찬가지로 사람의 생명과 건강을 향상하기 위한 도구다.
AI를 사용하는 모든 과정에서 윤리, 인권, 인간의 존엄성, 환자 안전 같은 인간 중심 가치가 우선되어야 한다.
2. 리스크 기반 접근 (Risk-based approach)
AI가 약 개발에 미치는 영향은 전 영역에서 같지 않다. 이 말은 사용 목적과 위험 수준에 따라 관리 강도를 달리해야 한다는 의미이다. 위험할수록 더 엄격한 검증과 위험 완화 계획을 철저한 감독 하에 사용되어야 한다. 만약 위험성이 낮다면 합리적인 수준의 관리가 적용되어야 한다.
3. 표준 준수 (Adherence to standards)
AI 활용은 법적, 윤리적, 과학적, 사이버 보안 및 규제 기준을 모두 준수해야 한다.
규제 기관이 요구하는 GxP(GMP, GCP, GLP 등) 같은 기존 품질 기준과 표준을 충족하는 것이 필수다.
4. 명확한 사용 맥락 (Clear context of use)
AI 시스템이 어떤 목적과 범위로 사용되는지를 분명히 해야 한다.
AI가 어디까지 의사결정을 돕는지에 대해 분명한 정의를 해야 한다. 또한 AI 사용 중 사람의 판단이 필요한 부분과 역할을 분명히 정의해야 한다.
5. 다학제적 전문성 (Multidisciplinary expertise)
AI 전문가만으로 충분하지 않다. AI 모델 개발과 활용에는 다학제적 팀이 필수다.
의약품 개발과 관련한 과학자, 생산자, 임상의, 규제 전문가, 데이터 과학자 등이 함께 설계하고 검토해야 한다. 이 협업은 기획부터 허가/판매까지 의약품의 전체 생애주기에 걸쳐 유지되어야 한다
6. 데이터 거버넌스 및 문서화 (Data governance & documentation)
AI에 사용된 데이터의 출처, 전처리 과정, 분석 결정이 모두 기록되고 추적 가능해야 한다. AI 사용에 대한 투명성은 규제 심사에서도 핵심 요소다.
또한 개인정보를 포함한 민감 데이터 보호가 보장되어야 하고, 이 모든 것이 GxP 수준의 문서화와 검증 가능성을 갖춰야 한다.
7. 모델 설계 및 개발 관행 (Model design & development practices)
AI 모델은 단순히 좋은 성능을 내는 것 이상으로 신뢰도/일반화 가능성/안정성을 갖추어야 한다.
설계와 개발의 모든 과정이 검증 가능해야 한다. 이는 AI 모델은 소프트웨어 공학과 모델 개발의 모범 사례를 따라야 하고, 사용 목적에 적합한 데이터로 학습되어야 한다는 것을 의미한다.
8. 리스크 기반 성능 평가 (Risk-based performance assessment)
AI 모델이 실제 의약품 개발에 적용되기 전, 리스크 수준에 맞는 성능 평가와 검증이 이루어져야 한다.
이는 후속 책임과 안전성과 직결된다. AI 모델뿐만 아니라 사람과 AI가 상호작용하는 전체 시스템을 평가해야 한다. 의도된 사용 목적에 맞는 지표로 성능을 검증하고 입증되어야 한다.
9. 생애주기 관리 (Life cycle management)
AI는 구축한 뒤 방치하는 대상이 아니라 지속적인 검토와 업데이트, 성능 모니터링을 통해 변화하는 데이터와 환경에 적응해야 한다. 정기적인 검증을 통해, AI의 평가하는 품질 시스템이 요구된다.
10. 명확하고 필수적인 정보 제공 (Clear, essential information)
AI 도구를 사용하는 의도, 성능 한계, 결과 해석 방식 등을 명확하고 이해하기 쉬운 언어로 문서화해야 한다.
사용자와 환자, 심사자가 이해할 수 있도록 쉬운 언어로 필요한 정보를 명확하게 제공해야 한다. AI의 사용 목적, 성능, 한계, 사용된 데이터, 업데이트 내용, 그리고 왜 그런 결과가 나왔는지(설명 가능성)를 투명하게 알려야 한다.