AI에도 사람 중심의 규제가 작동할 수 있을까?
사람은 실수한다, 그리고 AI도 실수한다
지금까지의 의약품을 포함한 모든 제품의 GMP 생산 규정은 하나의 가정에서 출발했다.
사람은 실수한다.
그래서 공정은 잘게 나뉘었고 각 단계마다 확인과 기록 그리고 책임과 서명이 요구되었다. 한 명의 불완전한 사람으로는 부족해서 모든 작업은 둘 이상의 작업자가 교차검증을 해야 했다. 판단의 주체는 언제나 불완전한 사람이었고 시스템은 그 판단을 보조하는 도구로 설계되었다. GMP란 결국 사람의 실수를 관리하기 위한 규칙의 집합이었다.
이전부터 공장 자동화가 제약업계에도 큰 이슈가 되고 있다. 다만 공정이 자동화되고 컴퓨터 시스템이 도입되었을 때도 이 전제는 크게 흔들리지 않았다. 측정과 계산, 기록을 시스템이 대신 수행하게 되었을 뿐이었다. 무엇이 정상이고 이상인지를 판단하는 권한은 여전히 사람에게 있었다. 그래서 공정 제어 시스템이나 엑셀 파일조차 컴퓨터 시스템 밸리데이션(Computer system validation, CSV)의 대상이 되었다. 시스템이 판단에 영향을 줄 수 있는 순간 그 신뢰성을 입증해야 했기 때문이다.
하지만 AI의 등장은 이 전제를 근본부터 뒤흔든다. AI는 계산이나 기록을 넘어서 판단 그 자체를 수행한다. 과거 데이터를 해석해 현재의 상태를 규정하고, 이상 여부를 결정한다. 판단의 주체가 사람에서 AI 알고리즘으로 이동하는 순간이 온다면 기존 규정의 기반은 흔들리기 시작한다.
AI 규제가 왜 필요한가?
기존 GMP 공장은 불완전한 사람을 감시하기 위한 체계였다. 그렇다면 현재 AI 시대의 규제는 불투명한 알고리즘을 검증하는 체계로 진화해야 한다. 다시 말해, AI 판단이 사람에게 알아보기 쉽게 표현되어야 하고 진실되어야 한다는 것이다.
문제는 AI 역시 실수한다는 점이다. AI는 때로는 틀린 답을 아주 그럴듯하게 만들어낸다. 데이터가 부족하거나 학습되지 않은 상황을 만나면 AI는 모르겠다고 답하지 않는다. 대신 가장 가능성 있어 보이는 설명을 생성한다. 이른바 할루시네이션이다. 이 부분이 우리가 챗GPT를 사용하면서 가장 열받아하는 지점이다.
가끔씩 존재하지 않는 상관관계를 인과관계처럼 설명한다. 언뜻 보면 실제로 있는 일 같지만 자세히 들여봐야 거짓인 걸 아는 경우가 있다. 그리고 전혀 상관없는 일이 동시에 일어났을 때 이 신호들을 연관성이 있다고 판단하는 경우가 더러 있었다. 이 할루시네이션이 제약 공장에서 특히 위험한 점은 그 판단이 일관되고 자신감 있어 보인다는 것이다. 숫자와 그래프로 포장된 판단은 오히려 사람의 의심을 무디게 만든다. 그럴듯한 거짓말은 가장 찾기 힘든 오류이기도 하다.
일관성을 가장 큰 미덕으로 여기는 제약 생산 현장에서 가장 싫어하는 말은 '그럴 가능성이 높다'는 설명이다. 공장은 확률의 게임이 아니라 정확한 근거를 바탕으로 한 판단과 책임이 필요하다. 낮은 확률이라도 일관성을 깨질 수 있는 AI의 판단은 안전한 의약품을 생산할 수 없다.
결정론적 검증은 더 이상 작동하지 않는다
현재 시스템과 기기를 검증하는 방법은 하나의 전제에서 시작된다. 같은 입력에는 항상 같은 출력이 나온다는 결정론적 시스템이다. 그래서 실제 유사한 환경에서 테스트를 했을 때, 동일한 입력에 동일한 출력이 나온다는 것을 확인함으로써 시스템의 신뢰성을 입증한다.
하지만 학습을 통해 스스로 판단 기준이 변하는 AI는 이 검증 방법으로는 규제를 만족시키기 어렵다. 오늘의 AI와 내일의 AI는 같은 입력에 다른 결론을 낼 수 있다. 심지어 이야기를 하다가도 결론이 달라지고 한다. 이런 시스템을 기존 규제 방식으로 검증하는 것은 사실상 불가능하다. 애초에 AI는 동일 입력=동일 출력이라는 전제가 맞지 않는 도구이다.
그래서 AI 시대의 규제는 한 번의 승인이 아니라 지속적인 감시와 설명 가능성을 요구하는 방향으로 이동할 수밖에 없다. 그리고 AI가 내리는 판단 결과뿐 아니라 왜 그런 판단이 나왔는지를 추적할 수 있어야 한다. 이런 AI 특성에 맞는 규제와 검증이 필요해진다.
끔찍한 AI 참사가 제약 규제 변화의 시작점이 되면 안 된다
AI 시대의 진짜 위험은 AI가 실수를 하느냐가 아니다. 더 큰 위험은 어디까지가 시스템의 판단인지 정의되지 않은 상태에서 공정에 적용될 수 있다는 점이다. 사람이 이해하지 못한 판단에 서명하고, 개입하지 않은 결정에 책임만 지는 구조는 규정의 목적과 정면으로 어긋난다. 제약 산업에서 규정의 목적은 서류를 늘리고 책임자의 서명을 받는 것에 있지 않다. 사고의 원인을 설명할 수 있게 하고 사고가 나기 전에 멈출 수 있도록 만드는 데 있다.
엘릭서 설파닐아마이드 사건과 같이 불분명한 근거로 판단이 내려졌을 때, 이 공장에서 생산한 약은 또다시 대참사를 일으킬 가능성이 매우 높다. 여태껏 많은 의약품 사고로 인해 얻은 것은 미리 대비해야지만 끔찍한 사고를 최소화할 수 있다는 것이다. 그러나 기존의 규정은 AI가 바꿀 작업 환경과 판단을 제어하지 못한다. 기존 규정대로라면 AI의 판단을 사람이 형식적으로 확인만 하는 절차만 추가될 위험에 처해 있다.
이제 규정은 사람은 실수한다는 전제를 넘어, AI도 역시 실수한다는 현실을 포함해야 한다. AI 시대의 가장 큰 변화는 기술이 아니라 판단 주체의 이동이다. 그리고 그 이동을 규정이 따라가지 못하는 순간 가장 먼저 무너지는 것은 신뢰다.
아직은 AI와 규제 사이의 간극은 점점 멀어져 간다.
AI는 하루가 다르게 발전을 하고 규제는 아직 제자리이다. 그렇지만 미국과 유럽이 제약산업에서 AI 사용 지침을 발표한 것처럼 AI에 대한 위험성에 경고하고 있다. 앞으로 제약 규제가 해결해야 할 과제는 AI 위험을 제어할 수 있는 방법을 찾아내는 것이다.
앞으로 AI와 규제의 간극을 좁히는 시작점이
끔찍한 의약품 대참사가 아니길
제발 그리고 간절히 바란다.