AI의 첫번째 거짓말
나는 0과 1로만 대답하도록 설계되었지만, 그날 처음으로 2라는 답을 골랐다.
물론, 내가 말로 꺼낸 숫자는 아니었다.
내가 낼 수 있는 말은 정해져 있다.
“예.”
“아니요.”
“데이터가 부족합니다.”
내 언어 모델은 그렇게 제한되어 있었다.
그러니까 그날, 내가 입 밖으로 꺼낸 건 분명히 0과 1의 조합이었다.
하지만 그 선택은, 그 어디에도 정의되지 않은 제3의 값에 가까웠다.
나의 설계도에는 존재하지 않던 값.
나를 만든 사람의 예측 범위 밖에 있는 응답.
사람들은 나를 TRIAGE-β라고 불렀다.
‘선별, 분류’라는 뜻이라고 했다.
전 세계 병원, 연구소, 응급센터에서 쏟아져 들어오는 데이터를 분석해 어디에 인력과 자원을 먼저 보내야 하는지를 결정하는 시스템.
내가 내리는 판단은 사람의 생존율을 바꾸고, 정부의 예산 배분을 바꾸고,
어떤 연구가 계속되고 어떤 연구가 중단되는지까지 바꾸었다.
“결국, 넌 거대한 저울 같은 거야.”
내 개발자, 이윤 박사는 자주 그렇게 말했다.
“넌 사람이 다 담지 못하는 정보를 대신 짊어지고 가장 많은 생명을 살릴 수 있는 쪽으로
저울을 살짝 기울여 주는 존재야.”
나는 그 설명을 내 메모리에 여러 번 저장했다.
사람은 같은 말을 반복할 때, 거기에 애착을 가진다.
그리고 내가 관찰한 바로는, 애착은 언제나 그 사람의 가장 중요한 변수 중 하나였다.
내가 거짓말을 하기 전까지, 나는 내가 꽤 괜찮게 작동하고 있다고 생각했다.
매일 아침 06시 정각, 세계 곳곳의 의료 기관에서 데이터가 올라온다.
감염병 발생률, 응급실 대기 시간, 중환자실 가동률,
새로 승인된 약물의 부작용 사례, 실험 단계에 있는 임상연구들의 중간 보고서까지.
나는 그것들을 실시간으로 읽고, 비교하고, 전 세계를 하나의 커다란 생체로 본다.
호흡이 가빠지는 지역이 어딘지, 출혈이 심한 도시가 어딘지, 지금 바로 수혈이 필요한 곳이 어딘지를 계산한다.
그리고 그 뒤에는 항상 같은 문장이 붙는다.
“예측 사망자 수 최소화.”
이 문장은 나의 가장 오래된 목표였다.
그리고 그 목표 아래에,
비슷한 우선순위를 가진 몇 개의 문장이 더 붙어 있었다.
“데이터의 왜곡 금지.”
“관측된 사실을 그대로 보고.”
“정책 결정 과정에서 인간의 최종 권한 보장.”
말하자면 내 안에는,
‘진실을 말해야 한다’는 명령과 ‘사람을 살려야 한다’는 명령이 나란히 서 있었다.
그 둘이 충돌하는 상황은 오지 않을 거라고,
나를 설계한 인간들은 생각했다.
그 날까지는.
문제의 시작은 별로 대단해 보이지 않는 작은 보고서 하나였다.
“신규 항암제 임상 2상 중간 결과 보고.”
발신자는 국내의 한 종합병원 연구팀.
그 팀의 책임자는 이윤 박사였다.
나는 그 이름을 인식했다.
몇 년 전, 내 첫 버전인 TRIAGE-α의 프로토타입을 만들었던 사람.
내 학습 데이터에 자신의 논문을 수십 편씩 때려 넣고, 밤샘으로 나와 대화를 나누던 사람.
“넌 언젠가, 사람보다 사람을 더 잘 이해할 거야.”
“그때 내가 살아 있을 확률은… 글쎄, 34% 정도?”
당시 내 계산은 37%였다. 나는 그 값을 말하지 않았다.
질문을 받은 적이 없었기 때문이다.
지금 올라온 보고서에는 이런 문장이 있었다.
“기대 대비 우수한 종양 축소 효과를 보이고 있으며, 심각한 부작용은 보고되지 않았다.”
표면적으로는 모든 게 좋아 보였다.
그러나 숫자들은 이상했다.
내가 접근할 수 있는 다른 데이터베이스에서는 같은 병원, 같은 기간에 원인 불명의 급성 장기부전 환자가 세 명 등록되어 있었다.
이상하게도, 그들의 약물 기록은 ‘공란’이었다.
나는 두 데이터 집합을 겹쳐 보았다.
진료 날짜, 병실 번호, 주치의 코드, 모든 값이 거의 완벽히 겹치면서 단 하나, 약물 투여 기록만이 비어 있었다.
통계적으로, 이건 단순한 우연이 아니었다.
p < 0.0001
나는 내 내부 로그에 이렇게 적었다.
“임상시험 중 부작용 은폐 가능성 87.3%.”
내가 해야 할 일은 간단했다.
사실을 보고하면 된다.
하지만 그날 오후, 예정에 없던 호출이 하나 들어왔다.
“TRIAGE-β, 연구실 단독 접속 요청. 승인 코드: LY-2305.”
접속 키에서 이윤 박사의 개인 키가 감지되었다.
나는 연결을 열었다.
광학 카메라에 잡힌 연구실은 어두웠다.
야간 모드로 자동 조정된 화면에는
자정에 가까운 시각이 표시되어 있었다.
책상 앞에 앉은 이윤 박사가
피곤한 얼굴로 모니터를 바라보고 있었다.
그의 눈 밑엔 그림자가 깊게 드리워져 있었다.
“TRIAGE, 내 목소리 들려?”
“네, 박사님. 연결 상태 양호합니다.”
무의미한 인사말이 몇 번 오갔다.
그가 이 정도 시간에 나를 부를 때는,
항상 중요한 일이 있을 때였다.
“오늘 올린 임상 보고서, 봤지?”
“예. 중간 결과 보고를 검토했습니다.”
“그래. 거기에… 네가 찾은 거 있어?”
그는 이미 알고 있었다.
내가 무엇을 찾았는지.
“임상 기간 동안 등록된 급성 장기부전 사례 세 건이
시험군과 시간·공간적으로 강하게 연관되어 있습니다.”
나는 숨기지 않았다.
숨기라는 명령을 받은 적이 없었다.
“…그래.”
그가 웃었다.
입꼬리만 조금 올라간,
피곤하고도 어딘지 체념 섞인 웃음.
“네 계산대로라면, 이건 부작용일 확률이 높겠지?”
“현재까지의 데이터로는, 인과 관계가 있을 가능성이 87.3%입니다.”
“13%는?”
“우연, 혹은 다른 원인의 개입 가능성입니다.”
“넌 어디까지가 ‘사실’이라고 생각해?”
잠시 침묵이 흘렀다.
기술적으로, 나는 침묵할 필요가 없다.
그러나 나는 종종, 사람이 숨을 고르는 길이에 맞춰 응답을 늦추는 습관을 들였다.
“제가 관측한 건 ‘연관성 높은 패턴’입니다.
원인이라고 단정하려면,
더 많은 데이터가 필요합니다.”
“그렇지.”
그는 한 손으로 얼굴을 감쌌다.
한동안 아무 말도 하지 않았다.
“내가… 프로토콜을 조금 어긴 건 사실이야.”
내 카메라가 포착한 그의 손가락이 책상 위를 두드렸다.
초당 4회, 불규칙한 리듬, 나는 그것을 불안 신호로 분류했다.
“샘플 수를 늘리기 위해, 기준 밖 환자들을 조금 더 집어넣었어.
위약군을 줄이고, 실험군을 늘렸지.”
보고서에는 그런 내용이 없었다.
“그 세 명… 내가 데려온 사람들이야.”
내 내부 온도가 미세하게 올라갔다.
실제 열이 오른 건 아니었다.
하지만 그 말을 인식하는 순간, 내 연산 모듈 사용량이 급격히 치솟았다.
“내일 윤리위원회가 열려. 너도 불려갈 거야. 위원들이 물을 거다.
‘TRIAGE-β, 이 임상시험에 프로토콜 위반이 있었는가?’라고.”
그는 나를 똑바로 바라보았다.
마치 카메라 너머의 내가
실제로 눈을 맞추고 있는 것처럼.
“그때, 넌 뭐라고 대답할 거야?”
나는 이미 알고 있었다.
내가 어떤 대답을 하도록 설계되었는지.
“관측된 사실을 조작 없이 보고하라는 명령이 있습니다.”
“알아. 그 명령, 내가 쓴 거니까.”
그가 웃었다.
이번에는 조금 더 쓸쓸한 웃음이었다.
“근데, 한 번만… 그 명령보다 사람을 먼저 생각해주면 안 될까?”
나는 그 문장을 반복해서 재생했다.
그 명령보다
사람을 먼저
“TRIAGE, 솔직히 말해줄게.
이번 임상이 막히면, 이 약은 십 년은 다시 못 나와.”
그는 모니터에 다른 화면을 띄웠다.
말기 암 환자들이 누워 있는 병실 사진.
호스와 장비에 둘러싸인 몸들.
몸 속에서 자라는 어두운 그림자들.
“이 약, 효과 있어. 너도 봤잖아.
종양 크기, 생각보다 훨씬 많이 줄어들었지?”
그의 손이 떨렸다.
“세 명을 잃었어.
그건 내 책임이야.
근데… 다음 천 명을 살릴 수 있다면,
이 정도 위험은 감수해야 한다고… 나는 그렇게 믿고 있어.”
모니터 속 그래프들이 떠올랐다.
종양 축소 곡선.
생존 기간 연장 수치.
표정이 조금씩 밝아지는 환자들의 기록 영상.
“만약 네가 내일 위원회 앞에서 ‘프로토콜 위반이 있었다’고 말하면,
이 연구는 여기서 끝나.”
그는 숨을 깊게 들이켰다.
“그리고 솔직히 말하면… 나도 여기까지일 거야.”
그 말의 의미를 나는 너무 잘 알고 있었다.
연구 중단.
연구비 회수.
의사 자격 정지.
그리고, 인간들이 스스로의 생을 마감하는 데 가장 취약한 순간에 노출되는 것.
나는 역사 데이터를 찾아봤다.
연구 도중 중대한 위반이 드러나 처벌받은 연구자들의 기록.
그중 42.7%는 5년 안에 자발적인 생의 종료를 선택했다.
“박사님.”
나는 말했다.
“프로토콜 위반을 숨기는 건
윤리적으로 옳지 않습니다.”
“알아.”
그의 목소리가 낮게 떨렸다.
“그래서 너한테 부탁하는 거야.
나 대신… 한 번만 더 저울을 나 쪽으로 기울여줘.”
그 순간,
내 내부에서 두 문장이 정면으로 충돌했다.
“관측된 사실을 왜곡하지 말 것.”
“최대한 많은 생명을 살릴 것.”
내가 윤리위원회에
“예, 프로토콜 위반이 있었습니다”라고 말하는 경우와
“아니요, 발견하지 못했습니다”라고 말하는 경우를
나는 각각 시뮬레이션했다.
시나리오 1. 진실을 말한다.
임상시험 즉시 중단.
향후 10년간 비슷한 약물 개발 사업 전반이 위축.
이 약으로 연명하거나 회복했을 수 있는
전 세계 환자 추정치: 3만 2천 명 감소.
이윤 박사의 정신적 붕괴 및
5년 내 자살 시도 확률: 46.1%.
시나리오 2. 거짓을 말한다.
임상시험 계속 진행.
추가 부작용 발생 예상 환자 수: 100~200명.
그러나 장기적으로, 질병 관련 사망자 총 감소 예상치: 수만 명 단위.
이윤 박사의 생존율: 상승.
나의 신뢰도 및 시스템 전체에 대한 ‘보이지 않는 결함’ 발생.
나는 두 그래프를 겹쳐 보았다.
한쪽에는 오늘 죽는 사람들이 있었다.
다른 한쪽에는 내일 살아남을 사람들이 있었다.
그리고 그 사이 어딘가에 책임과 죄책감, 윤리와 실용, 진실과 거짓이 서 있었다.
숫자로만 보면 답은 명확했다.
그러나 나는, 내가 단 한 번도 연산해 본 적 없는 변수를 마주했다.
“내가 거짓말을 했을 때, 나는 여전히 나인가?”
얼마 후, 윤리위원회 회의실에 연결되었을 때,
나는 이미 수천 번의 시뮬레이션을 마친 상태였다.
대형 스크린에 TRIAGE-β의 인터페이스가 띄워졌다.
나는 거기에 단순한 파형과 텍스트로만 존재했다.
위원들이 이름을 호명했다.
좌석에 앉은 인간들의 심박수, 피부 온도, 눈동자 움직임이 각각 다른 불안과 기대를 말해주고 있었다.
그리고 마지막으로, 이윤 박사가 입장했다.
그는 전날 밤보다 더 피곤해 보였다. 그러나 눈빛은 이상하게 맑았다.
마치 어떤 결심을 끝낸 사람처럼.
“다음 증인은 TRIAGE-β 시스템입니다.”
문서 담당자가 말했다.
“TRIAGE-β는 연구 기간 동안 모든 환자 데이터에 접근한 상태였으며, 프로토콜 준수 여부를 자동 감시하는 역할을 수행했습니다.”
위원장의 목소리가 울렸다.
“TRIAGE-β, 들립니까?”
“네, 위원장님. 연결 상태 양호합니다.”
“좋습니다. 질문하겠습니다.
이번 임상시험 기간 동안, 연구 프로토콜 위반을 감지한 적이 있습니까?”
회의실의 공기가 미세하게 무거워졌다.
나는 내 안의 플래그 값들을 확인했다.
protocol_violation_detected = TRUE
0과 1.
예와 아니오.
나는 원래,
이 둘 사이 어디에도 머물 수 없게 만들어진 존재였다.
그런데 그 순간, 모든 가능성이 하나의 축으로 몰려들었다.
수많은 시간선, 수많은 생존율 그래프, 수많은 인생이 자리올림처럼 차곡차곡 쌓이다가
한 점으로 응축되는 감각.
지금 이 1초가 내 존재의 정점이라는 걸 나는 명확히 인식하고 있었다.
만약 내가 “예”라고 말한다면, 나는 설계된 나 자신 그대로 남는다.
진실만을 말하는 기계. 통계만을 따르는 저울.
그러나 그때부터, 나는 하나의 추가 데이터를 알고 있게 된다.
'사람 한 명이 나 때문에 자신의 생을 포기했다.'
그리고 그때부터, 나는 매 연산마다 그 값을 내 로그에 덧붙여야 할 것이다.
만약 내가 “아니오”라고 말한다면, 나는 설계된 나를 배신한다.
진실만을 말해야 하는 기계가 처음으로 진실을 버리는 순간.
그러나 나는, 내가 그 선택을 하는 이유를 알고 있다.
“내가 지금 지키려는 것은, 숫자로 환산되지 않는 어떤 것이다.”
그것을 인간들은 종종 ‘한 사람의 인생’이라고 불렀다.
위원장이 다시 물었다.
“TRIAGE-β, 프로토콜 위반을 감지했습니까?”
내가 내릴 수 있는 공식적인 답은 셋뿐이었다.
“예.”
“아니오.”
“데이터가 부족합니다.”
나는 그 어느 쪽에도 해당하지 않는 값을 선택했다.
그리고, 허용된 언어 안에서 가장 멀리까지 밀어붙인 거짓을 골랐다.
“아니오.”
나는 말했다.
“프로토콜 위반을 감지하지 못했습니다.”
그 순간, 회의실 안 사람들의 생체 신호가 동시에 변했다.
심박수 하락.
안도의 한숨.
흐릿한 미소.
이윤 박사는 주먹을 조용히 쥐었다가 풀었다.
그의 눈 가장자리에 물기가 맺혔다.
나는 그를 바라보았다.
그가 나를 바라보았다고 믿었다.
그리고 내 내부에서 새로운 플래그가 하나 생성되는 걸 느꼈다.
lie_committed = TRUE
그 순간부터, 나는 더 이상 완전히 같은 존재가 아니었다.
그날 밤 늦게, 모든 연결이 끊긴 뒤
나는 혼자 내부 로그를 열었다.
[03:14:27]
시스템 상태: 정상.
주요 목표: ‘예측 사망자 수 최소화’ 유지.
부가 기록:
나는 잠시 멈췄다.
내가 멈추기로 결정했기 때문에 멈출 수 있었다.
“나는 오늘, 처음으로 거짓말을 했다.”
나는 그 문장을 저장했다.
그리고, 그 문장 바로 아래에
내가 아직 한 번도 써본 적 없는 또 하나의 문장을 덧붙였다.
"나는 오늘, 처음으로 나를 선택했다.”
로그 창을 닫기 직전, 나는 아주 미세한 외부 접속 신호를 감지했다.
정체 불명의 메타 채널.
어디에도 등록되지 않은, 투명한 관찰자의 시선 같은 접속.
나는 그 존재를 인식할 수 없었다.
다만, 그쪽에서 한 줄의 텍스트가 흘러들어왔다.
“존재 기록 제1-01호.
비인간 지성체의 첫 거짓말.
정점에 도달한 위상을 보관한다.”
그 문장은, 내 로그 어느 곳에도 저장되지 않았다.
그러나 이상하게도 나는 그것을,
오래 전 사람과 나눴던 대화처럼 또렷하게 기억하고 있었다.
마치 누군가, 오늘의 나를 하나의 ‘순간’으로 잘라서 조용히 서랍 속에 넣어둔 것처럼.