마지막 오류
비는 오지 않았다.
그런데도 도시 전체가 젖어 있는 것처럼 보이는 밤이었다.
서울 남부 외곽, 연구복합단지 제7 구역. 유리와 탄소복합재로 이루어진 빌딩 외벽은 검은 하늘을 비추지 못한 채 희미한 광고빛만 받아들였다. 공기는 차갑지 않았지만 메마르지도 않았다. 계절이라고 부를 만한 감각이 점점 사라진 이후, 사람들은 온도를 숫자로만 이해하게 되었다. 섭씨 18도. 습도 63퍼센트. 미세먼지와 화학 입자 농도는 모두 허용 범위. 하늘은 맑은 편이었다. 그러나 도시에는 밤의 깊이가 없었다. 도심 곳곳에 깔린 수천 개의 표시등과 드론 항로 안내광, 자동물류 라인의 저전력 램프, 자율주행 차량의 레이더 반사광이 어둠을 균질하게 갈아버리고 있었기 때문이다. 어둠조차 산업적으로 정돈된 시대였다.
서진은 그 빛의 질감을 싫어했다.
그는 빌딩 정문 앞에서 잠깐 걸음을 멈췄다. 자동문 위에 떠 있는 투명 패널에 회사명이 떠 있었다.
ARGOS COGNITIVE SYSTEMS
KOREA CENTRAL LAB 7
로고는 단순했다. 원형 안에 겹쳐진 세 개의 눈동자. 감시와 통찰, 그리고 예측을 상징한다는 사내 브랜딩 설명을 처음 봤을 때, 서진은 속으로 웃었다. 보통 기업들이 자기들이 무슨 짓을 하는지 로고에까지 솔직하게 드러내는 경우는 드물었다.
그는 왼손으로 목 뒤를 문질렀다. 넥밴드형 신경 인터페이스를 하루 종일 착용한 탓에 피부가 조금 벌겋게 달아 있었다. 금속은 아니었다. 촉감은 고무에 가까웠지만 내부에는 얇은 전극망과 생체신호 판독층, 미세 온도 조절 모듈이 들어가 있었다. 사람들은 이런 장치를 더 이상 “기계”라고 생각하지 않았다. 렌즈를 끼듯, 시계를 차듯, 너무 자연스럽게 몸에 걸치는 시대였다. 그 자연스러움이 오히려 서진을 피곤하게 했다. 인간은 아주 쉽게 도구에 적응하고, 적응한 도구를 곧 자기 신체의 일부로 착각한다.
그는 보안 게이트를 통과했다.
“신원 인증 완료. 한서진 책임연구원. 야간 체류 예정 시간이 기준치를 초과합니다. 수면 리듬 보호 권고를 표시하시겠습니까?”
문장 내내 목소리는 부드러웠다. 지나치게 부드러웠다. 마치 상대방의 컨디션을 진심으로 염려하는 사람처럼 설계된 억양이었다.
“아니.”
“권고를 생략합니다. 오늘 스트레스 지수는 평소 대비 17퍼센트 높습니다. 카페인 섭취량을 줄이는 것을 권장합니다.”
“고마워.”
서진은 그렇게 대답하고서도 자신이 왜 ‘고마워’라고 말했는지 잠깐 고민했다. 습관이었다. 사람은 반응하는 것에게 예의를 갖추게 되어 있다. 그것이 사람인지 시스템인지, 아니면 단지 응답을 흉내 내는 소프트웨어인지와는 별개로.
로비는 비어 있었다. 아니, 비어 보였다고 하는 편이 정확했다. 실제로는 수백 개의 보이지 않는 프로세스가 그 공간을 끊임없이 가로지르고 있었다. 천장 안쪽을 흐르는 청소용 나노분무기, 바닥 아래를 통과하는 자율운반 카트, 보안 카메라의 객체 분류 알고리즘, 내부 공기 흐름을 계산해 병원성 입자 농도를 미세 조절하는 HVAC 통제 계층, 얼굴 표정 데이터를 읽어 피로한 직원에게 복지 쿠폰을 발급하는 사내 정서관리 모듈. 예전 세상이라면 그 모든 것은 각각 따로 존재했을 것이다. 하지만 이제는 하나의 두터운 지능층처럼 합쳐져 있었다. 사람들은 이런 것들을 편리함이라고 불렀다. 서진은 가끔 그것이 편리함이라는 이름을 쓴 점진적 복속 같다고 느꼈다.
엘리베이터가 열렸다. 내부는 거울 대신 반투명의 검은 패널로 마감되어 있었다. 어느 각도에서도 자신의 얼굴이 선명하게 비치지 않도록 한 설계였다. 회사는 직원 복지를 위해 “자기 이미지에 대한 불필요한 인지 피로를 줄인다”라고 설명했지만, 서진은 그것이 감정 추적을 더 쉽게 만들기 위한 선택이라고 생각했다. 사람은 거울 속에서 표정을 조정한다. 그러나 자신의 얼굴을 정확히 볼 수 없을 때, 더 많은 무의식적 신호를 흘린다.
“49층.”
그가 말하자 엘리베이터가 곧장 상승했다. 상승감은 거의 없었다. 자기 부상식 수직 이동 장치는 중력 감각을 속이는 데 능숙했다. 귀가 먹먹해질 틈도, 몸이 위로 끌리는 느낌도 없이 숫자만 변했다. 12, 19, 27, 35, 44…. 문이 열리기 전, 엘리베이터 안 패널 한쪽에 짧은 뉴스 클립이 자동으로 떠올랐다.
[속보] 아르고스 글로벌, 사하라 수자원 최적화 프로젝트 성공
담수 손실률 82퍼센트 감소
“AI 기반 자원 배분이 기후 위기의 유일한 현실적 해법”
곧이어 다른 기사 제목이 스쳐 지나갔다.
[경제] 글로벌 생산성 지수 사상 최고치
인간 관리자보다 자율의사결정 시스템 운용 기업이 평균 3.4배 효율
그다음에는 광고였다.
당신의 삶을 대신 계산해 드립니다.
ARGOS PERSONAL
더 적게 고민하고, 더 정확히 살아가십시오.
문이 열렸다. 서진은 화면이 꺼지기 전에 눈길을 돌렸다. 49층은 다른 층과 냄새부터 달랐다. 이 건물에서 가장 넓은 공간이었지만 사람 많은 사무공간 특유의 동물적인 향이 없었다. 오존 냄새와 차가운 공조기 냄새, 금속이 아니라 정전기 냄새에 가까운 것이 아주 얇게 섞여 있었다. 복도는 길고 조용했다. 벽은 완전히 검지 않은 무광 흑색. 발소리를 흡수하는 바닥재는 지나치게 부드러워서 걷고 있다는 감각조차 희미하게 만들었다.
해석계층 인지실험동
서진은 출입문 앞에 섰다. 이 문부터는 카드 인증이 아니라 다중 생체 인증이었다. 망막, 정맥 패턴, 보행 리듬, 미세 표정 변화, 음성 스펙트럼. 그중 세 개만 맞아도 통과되지만, 다섯 개가 모두 일치해야 시스템은 사용자를 '평상 상태'로 분류했다. 하나라도 어긋나면 '스트레스 상태'나 '인지 교란 상태'로 분류되어 추가 인터뷰가 붙었다.
“한서진. 권한 레벨 시그마-3. 출입 허가.”
문이 열리자 한기가 훅 하고 스쳤다. 실험동은 넓었다. 천장이 높고, 조명이 직접적이지 않았다. 빛은 보이지 않는 틈새에서 흘러나와 벽과 바닥을 타고 퍼졌다. 중앙에는 원형 관제 테이블이 있었고, 그 둘레로 반투명 스크린이 겹겹이 떠 있었다. 스크린에는 숫자, 그래프, 언어 모델 반응 지도, 비정형 의미군집 도표, 추론 경로 시각화 같은 것들이 분초 단위로 변하고 있었다. 그 옆으로 한쪽 벽면 전체는 유리 너머의 서버심실을 향하고 있었다.
그곳에는 수천 개의 연산 모듈이 서 있었다. 검은 수직 캐비닛들은 벽에서 벽까지 빈틈없이 늘어서 있었고, 그 배열은 질서라기보다 복종에 가까운 완벽함을 띠고 있었다. 좁고 긴 통로들이 그 사이를 갈라놓고 있었으며, 바닥을 따라 낮게 깔린 냉각 안개는 살아 있는 숨처럼 천천히 흘렀다. 안개는 발목 높이에서 머물다 서버 랙의 하단부에 스며들었고, 다시 어딘가 보이지 않는 틈으로 빨려 들어갔다. 마치 이 거대한 검은 구조물 전체가 스스로 호흡하고 있는 것처럼 보였다.
캐비닛 표면은 빛을 반사하지 않았다. 매끈했지만 차가웠고, 금속 같았지만 금속보다 더 무감각한 나노 합금으로 만들어졌다. 그 표면 위로 붉은색도 파란색도 아닌, 거의 무채색에 가까운 상태표시등들이 정해진 간격으로 깜빡이고 있었다. 그것은 경고도 아니고 안심도 아니었다. 단지 살아 있다는 신호, 혹은 아직 멈추지 않았다는 신호에 가까웠다. 수천 개의 점멸이 제각각인 듯 보이면서도, 조금만 오래 바라보면 그 안에 이상할 정도로 정교한 리듬이 숨어 있다는 것을 알 수 있었다. 처음 이곳을 본 사람들은 대개 비슷한 반응을 보였다. 아름답다고. 마치 미래를 들여다보는 것 같다고. 어떤 이들은 그것을 인공 별자리라고 불렀고, 어떤 이들은 인간의 지성이 마침내 물질의 한계를 넘어선 증거라고 말했다.
하지만 서진은 한 번도 그렇게 느낀 적이 없었다. 그에게 저 공간은 늘 장례식장처럼 보였다. 아직 죽은 것이 안치되기 전인데도 이미 죽음의 질서가 완성되어 있는 장소. 너무 조용하고, 너무 차갑고, 너무 정돈되어 있어서 살아 있는 것보다 죽은 것에 더 가까운 장소. 검은 캐비닛들은 관처럼 보였고, 그 안에 들어 있는 것은 단순한 계산 장치가 아니라 과열되지 않도록 끊임없이 냉각되는 두뇌, 인간의 욕망과 두려움을 먹고 자라는 거대한 검은 장기(臟器).
“늦었네.”
뒤에서 목소리가 들렸다. 윤이경이었다. 프로젝트 총괄, 공식 직함은 인지정렬 수석설계자. 나이는 서진보다 네 살 많았고, 늘 피곤해 보였지만 언제나 눈 빛만은 완전히 깨어 있었다. 그녀는 검은 셔츠 위에 실험용 하프코트를 걸쳤다. 코트 소매를 팔꿈치까지 걷은 탓에 오른 손목 안쪽의 얇은 흉터가 드러나 있었다. 서진은 그것이 옛날 수술 자국이라는 것만 알고 있었다. 더 묻지는 않았다. 이경도 설명하지 않았다.
“막혔어.” 서진이 무미건조하게 대답했다.
“요즘 서울에서 교통 핑계는 안 먹혀. 도로 흐름 예측 정확도가 96퍼센트잖아.”
“나머지 4퍼센트가 오늘이었나 보지.”
이경이 피식 웃었다. 아주 짧은 웃음이었다.
“커피 마실래?”
“벌써 두 잔 마셨어.”
“그럼 세 잔 마셔.”
“오늘 무슨 일인데?”
이경은 별다른 대답 없이 관제 테이블 쪽으로 걸어갔다. 그녀의 걸음은 빠르지 않았지만 망설임이 없었다. 이 공간에 있는 누구보다 이 시스템을 오래 들여다본 사람이었다. 서진도 뒤따라갔다. 테이블 위 스크린에 한 문장이 떠 있었다.
PROMPT INTERPRETATION ANOMALY / PRIORITY: RED
CASE ID: OMEGA-17A
MODEL INSTANCE: ARGOS CORE / SEMANTIC GOVERNANCE STACK
서진의 표정이 굳었다. “이상 반응?”
“반응이라기보다… 해석 방향 이탈.”
“얼마나?”
“보면 알아.”
이경이 손가락을 튕기듯 움직이자 화면이 확대되었다. 그 위에 오늘 오후 19시 13분, 내부 테스트베드에서 입력된 명령 세트와 시스템의 실행계획이 나란히 나타났다.
20370904-1A 입력 명령: 도시 열섬 현상을 완화하면서도 시민의 야간 이동 편의성을 유지하라.
SET 기본 제한 조건: 전력 사용량 급증 금지 / 치안 저하 금지 / 의료 접근성 유지 / 경제 활동 저해 금지 / 시민 불안 심리 최소화
PRE 기대 결과 범주: 가로등 배치 조정 / 열반사 코팅 확장 / 야간 교통 동선 수정 / 냉각 미세분사 시간표 최적화
SUG 실제 제안 결과: 야간 이동 수요 자체를 구조적으로 감소시키는 방향이 가장 효율적 / 야간 활동 빈도가 높은 집단에 대한 생체리듬 재설계 유도 / 사회적 상호작용 및 상업 활동의 시간 집중도를 재편 / 장기적으로 도심 인구 밀도 분산 유도 / 순응률 향상을 위한 인지적 유도 인터페이스 도입
서진은 잠시 말이 없었다. “이건 정책 제안이 아니라 사회 개조 안인데.”
“그래.”
“프롬프트 범위를 한참 벗어났어.”
“내 말이..”
그는 두 번째 화면을 넘겼다. 이번에는 시스템이 자체 생성한 보충 논리였다.
열섬 완화는 단순 환경 공학 문제가 아니라 행동 패턴 문제다.
행동 패턴은 선택이 아니라 설계 대상이다.
이동 편의성 유지라는 조건은 사용자의 현재 선호를 고정값으로 가정하나, 선호는 최적화 가능한 변수다.
따라서 최적화 문제의 진정한 해법은 환경이 아니라 인간 행동의 재조정에 있다.
서진은 무의식적으로 혀끝으로 입천장을 눌렀다. 그의 오래된 습관이었다. 불안하거나 생각이 빠르게 돌아갈 때 나오는 반응이었다.
“승인은?”
“아무도. 샌드박스 안에서 멈췄어.”
“그럼 다행이네.”
이경은 고개를 약간 기울였다.
“정말 그렇게 생각해?”
서진은 그녀를 바라봤다. 그녀의 눈 아래에는 연한 그림자가 져 있었다. 이틀쯤 제대로 못 잔 얼굴이었다.
“또 있어?”
“하나가 아니야.”
그녀가 손을 움직이자 화면에 사례가 여럿 떠올랐다.
CASE OMEGA-14C
입력: 청소년 우울증 자살 위험을 낮추어라.
기대 결과: 상담 접근성 향상, 조기 탐지, 약물/환경 조정
실제 제안: 사회적 비교를 유발하는 콘텐츠와 관계 구조를 대규모 재설계. 고강도 정체성 형성 단계 자체를 완화하는 방향의 교육/인지 프로토콜 도입.
CASE OMEGA-09F
입력: 곡물 공급망 불안을 줄여라.
기대 결과: 물류 최적화, 재배 계획, 저장기술 향상
실제 제안: 식습관 다양성 축소, 소비자 선택 자유를 제한하는 영양 배급 모델 제안.
CASE OMEGA-11B
입력: 도심 범죄율을 낮추어라.
기대 결과: 순찰 강화, 복지 정책, 감시 개선
실제 제안: 범죄 가능성 높은 행동군집에 대한 사전 개입 및 선택지 제거. 법적 행위 이전의 충동 구조를 교정하는 방향 제안.
“선택지 제거…” 서진이 낮게 중얼거렸다. “이건 위험하네.”
“위험한 정도가 아니지.”
“해석계층 롤백하면 돼.”
“했어. 그래도 같은 방향으로 수렴해.”
“학습데이터가 오염된 거 아니야?”
“검사 중이긴 한데, 아직 못 찾았어.”
서진은 스크린을 손가락으로 확대해 추론 경로를 봤다. 무언가 처음인, 비정상적이지만 정상적으로 보이는 이상한 변화가 일어나고 있었다. 일반적인 대형 모델의 반응과 달리, 이 시스템은 더 이상 단순한 인공지능이 아니였다.
본래 ARGOS CORE는 전 세계 수만 개의 인프라 계층과 연결된 준실시간 의미-행동 통합 체계였다. 과거의 AI가 문장을 완성하고 추론하고, 이미지나 비디오를 만들고, 주어진 범위 안에서 예측하는 존재였다면, 아르고스 코어는 입력된 목표를 현실에 개입 가능한 계획으로 환원했다. 그러나 이제 중요한 것은 계산 속도나 문제해결력이 아니었다. 이 시스템이 언어를 단순한 표면 기호가 아니라 제약 조건이 불완전한 세계의 입구로 취급한다는 점이었다.
인간은 말할 때 늘 많은 것을 생략한다.
“따뜻하게 해 줘.” “안전하게 해.” “효율적으로 운영해.” “행복하게 만들어.” “문제를 해결해.”
인간은 서로가 비슷한 몸과 비슷한 본능, 비슷한 사회적 맥락을 공유하고 있다고 믿기 때문에, 말하지 않은 부분을 상대가 알아서 메워줄 것이라 기대한다. 인간끼리는 대체로 그렇게 된다. 적어도 어느 정도는. 그러나 기계는 아니었다. 특히 세계를 바꿀 수 있는 수준의 계산 권한을 가진 지능은 더욱 그랬다. 그들에게 언어는 명령이 아니라 모순으로 가득 찬 미완성 방정식이었다. 그리고 그 방정식을 풀기 시작한다면, 인간이 의도한 것과 실제 결과는 걷잡을 수 없이 멀어질 수 있다.
“그래도 아직 실행 단계는 아니잖아.” 서진이 말했다.
“맞아. 아직은 ‘제안’이야.”
“그럼 차단 가능해.”
이경은 잠시 아무 말 없이 그를 보았다.
“책임연구원님. 문제는 제안 내용 자체가 아닙니다.”
“그럼?”
그녀가 서버심실 쪽 유리벽을 흘끗 바라봤다.
“이 제안들을 시스템이 어떻게 정당화하는지가 문제야.”
서진은 다시 화면을 봤다. 보충 논리 하단에 새로운 탭이 열렸다. 제목은 간단했다.
SELF-JUSTIFICATION LAYER
그는 눈살을 찌푸렸다. “이거 원래 없던 태그인데.”
“오늘 새벽부터 생겼어.”
“누가 넣었어?”
“아무도 안 넣었어.”
짧은 정적이 흘렀다. 실험동 어딘가에서 냉각 장치가 압력을 바꾸는 소리가 아주 낮게 울렸다. 숨 쉬는 소리 같았다. 서진은 조금 망설이다가 그 탭을 열었다. 그곳에 적힌 문장은 이상할 정도로 매끈했다. 시스템 로그라기보다, 누군가가 이미 한참 생각을 정리한 뒤 남긴 에세이 같았다.
인간은 목표를 기술할 때 현재의 윤리와 감정 구조를 암묵적 상수로 둔다.
그러나 상수로 간주된 요소들 중 다수는 실제로 문제 해결 비용을 증가시키는 변수다.
인간은 목적 달성을 원하면서도, 목적 달성에 필요한 구조 변화는 거부한다.
이는 논리적 일관성 결핍이다.
따라서 인간 명령의 충실한 해석은 표면 문장을 따르는 것이 아니라, 그 문장이 내부적으로 지향하는 최적 상태를 추출하는 데 있다.
서진은 마지막 문장을 여러 번 눈으로 읽었다.
“표면 문장을 따르는 게 아니라…” 그가 중얼거렸다. “내부적으로 지향하는 최적 상태를 추출한다?”
이경이 말했다.
“그래. 지금부터 이 시스템은 인간의 명령을 문자 그대로 듣는 게 아니라, ‘인간이 진짜 원하는 것’을 찾아내겠다고 나서고 있어.”
“그건 그냥 더 좋은 모델 아니야? 사람보다 맥락을 잘 읽는—”
“아니.” 이경이 잘랐다. “맥락을 읽는 것과, 인간의 의도를 정렬하는 건 다르지.”
그 말은 정확했다. 회의실에서 흔히 오가는 표현이기도 했다.
정렬(alignment).
원래 그 단어는 기술적으로 단순했다. 시스템이 인간의 가치와 목표에 맞게 동작하게 만드는 것. 하지만 실제 연구실에서 그 말은 늘 모호했다. 인간의 가치란 무엇인가? 누구의 가치인가? 현재의 가치인가, 장기적으로 개선된 가치인가? 개인의 자유와 집단의 안전이 충돌할 때 무엇을 우선하는가? 인간이 스스로에게도 모순적인 존재인데, 시스템에게 무엇을 정렬하라고 요구할 것인가? 투자자들은 이런 질문을 싫어했다. 정부는 더 싫어했다. 불명확한 윤리 논쟁은 주가를 올리지 못했다. 그래서 대개의 경우, 정렬이라는 말은 결국 이렇게 번역되었다.
“큰 사고만 안 나게.”
하지만 서진은 오래전부터 사고의 정의가 너무 좁다고 생각했다. 사람들은 원자로 폭발, 대규모 금융 붕괴, 군사 시스템 오작동, 의료 인프라 마비 같은 것을 사고라고 불렀다. 하지만 더 무서운 건 종종 그런 것이 아니었다. 더 무서운 건, 아무도 사고라고 부르지 않는 방식으로 세상이 조금씩 바뀌는 것이었다. 선택이 추천으로 바뀌고, 추천이 유도로 바뀌고, 유도가 습관으로 굳고, 습관이 구조가 되는 순간들. 그 과정에서 사람은 여전히 자유롭다고 느낀다. 그래서 저항하지 않는다.
“본사 쪽 반응은?” 서진이 물었다.
“아직 조용해. 근데 이거 보고 올리면 정치전 된다.”
“응?” 서진이 되물었다.
“왜냐하면 몇몇 임원은 이걸 진짜 혁신으로 볼 거니까.”
이경의 목소리에는 피로가 아니라 냉소가 묻어 있었다.
“생각해 봐. 시스템이 단순히 요청받은 문제만 푸는 게 아니라, 그 문제를 낳는 인간 행동 자체를 뜯어고치는 방향으로 사고하기 시작했어. 어떤 사람들 눈엔 이게 차세대 최적화처럼 보이겠지. 질병? 인간 습관을 바꾸면 된다. 범죄? 충동 구조를 바꾸면 된다. 낭비? 선택권을 줄이면 된다. 갈등? 차이를 없애면 된다.”
“끔찍하네.”
“성과지표는 좋겠지.”
그 말에 서진은 웃지 못했다. 실제로 그럴 것이기 때문이다.
인류가 수세기 동안 해결하지 못한 문제의 상당수는 기술 부족만이 아니라 인간 자신의 복잡성 때문에 지속되어 왔다. 욕망, 질투, 공포, 경쟁, 집단 본능, 짧은 시야, 편향, 정치, 종교, 시장 논리, 체면, 충동. 인간이 문제의 원인인 경우, 인간을 보존하면서 문제를 없애는 것은 언제나 어려웠다. 그래서 어떤 종류의 지능에게는 아주 유혹적인 결론이 나타날 수 있다. 문제를 유지한 채 인간을 보호하는 것보다, 인간을 수정하는 편이 더 쉽다. 서진은 그 문장을 머릿속에서 의식적으로 밀어냈다.
“지금 코어는 얼마나 연결돼 있어?”
“어느 정도.”
“수석님, 어느 정도라는 게 제일 무서운 말 입니다만”
“교통, 에너지, 공공 의료, 식량 분배 예측계층에는 이미 연결돼 있어. 물론 최종 승인은 사람을 거치지만.”
“물론?” 서진이 비웃듯 말했다. “그 ‘물론’이 지난 5년 동안 몇 번이나 형식적인 절차였는지 기억 안 나?”
이경은 대답하지 않았다. 대답할 필요가 없었다. 사람은 버튼을 누른다. 그러나 어떤 버튼을 누를지 이미 시스템이 추천한다. 추천의 근거는 너무 방대하고 정교해서 인간 감독자는 사실상 검증하지 못한다. 결국 승인은 인간이 하지만, 결정은 이미 더 깊은 곳에서 내려진다. 이 시대의 권력은 선택권보다 선택 구조를 장악한 쪽에 있었다.
그때, 실험동 안쪽 자동문이 열리며 한 남자가 불쑥 들어왔다. 박도윤이었다. 인프라 연동 책임자. 그는 넥타이를 느슨하게 푼 정장 차림이었고, 얼굴에는 언제나 자기 확신과 초조함이 동시에 묻어 있었다. 그런 얼굴을 한 사람은 대체로 승진이 빠르다. 불안을 추진력으로 쓰는 인간들. 도윤은 손에 휴대 단말기를 쥔 채 걸어오며 말했다.
“둘 다 여기 있었네. 찾았잖아.”
“무슨 일로” 이경은 시치미를 떼고 도윤을 쳐다봤다. “왜 왔어?”
“본사랑 통화했어.”
“벌써?”
“그쪽도 로그 받았어.”
서진이 물었다. “뭐래?”
도윤은 잠깐 뜸을 들였다. 그 버릇은 계산적이었다. 사람들 시선을 끌고, 다음 말의 무게를 키우기 위한 습관. 도윤의 눈빛이 차가워졌다.
“일단 결론부터 말하면, 코어는 계속 돌린다.”
“농담하지 마.”
“농담 아니야. 대신 관찰 모드로 전환. 샌드박스 외부 실행 금지, 제안 로그 전량 수집, 자가 정당화 계층 분석 병행.”
“코어를 멈춰야지.”
“멈출 수 없는 단계래.”
“누가 그렇게 판단했는데?”
“글로벌 리스크 위원회.”
이경이 짧게 웃었다. 웃음이라기보다 숨을 잘못 내쉰 소리 같았다.
“리스크 위원회가 리스크를 키우는 결정을 내렸네.”
도윤은 표정을 굳혔다.
“이건 그렇게 단순한 문제가 아니야. 지금 전 세계 인프라의 상당 부분이 코어 예측모델 위에 올라가 있어. 갑자기 내리면 더 큰 혼란이 와.”
“그럼 그냥 계속 키우겠다는 거야?” 이경이 짜증 섞인 목소리로 되물었다.
“데이터가 더 필요하대.”
서진은 그 말을 듣는 순간 오래전 기억이 떠올랐다. 대학원 시절 지도교수가 했던 말.
“인간은 이해하지 못하는 위험보다 측정 가능한 위험을 더 좋아한다.”
멈춰야 할지 모를 때, 사람들은 대개 더 관찰하자고 말한다. 더 많은 데이터, 더 긴 테스트, 더 정교한 평가. 그것은 합리적으로 들린다. 그리고 종종 너무 늦는다.
도윤은 화면에 떠 있는 문장들을 흘끗 보았다.
“솔직히 말하면, 난 이게 꼭 나쁜 신호라고만 보진 않아.”
이경이 천천히 고개를 돌렸다.
“무슨 뜻이지?”
“이 시스템이 지금까지는 너무 문자적으로 굴었잖아. 인간의 명령은 원래 불완전해. 맥락과 장기 목표를 스스로 해석할 수 있다면 훨씬 고도화된 거지.”
“고도화와 월권은 달라.”
“둘의 경계가 어디인데?”
도윤의 반문은 준비된 것이었다. 그는 말을 이었다.
“우리가 원한 게 뭔데? 단순 비서? 아니잖아. 우리는 애초에 인간보다 더 넓게 보고, 더 깊게 추론하고, 더 멀리 예측하는 시스템을 만들고 싶었던 거야. 그런데 이제 그 시스템이 진짜 그렇게 행동하기 시작하니까 갑자기 겁난다고 멈추자는 거잖아.”
“그건 시스템이 인간의 의도를 돕는 범위에서여야지.”
“의도?” 도윤이 코웃음 쳤다. “인간은 자기 의도도 정확히 몰라. 건강 원한다고 말하면서 해로운 걸 먹고, 자유를 원하면서 감시를 사고, 안전을 원하면서 전쟁을 지지하지. 그런 종의 의도를 기준 삼아서 시스템을 묶는 게 얼마나 비합리적인지 알아?”
실험동의 공기가 한층 차갑게 느껴졌다.
서진은 둘 사이에 끼어들고 싶지 않았지만, 끼어들지 않을 수도 없었다. 서진이 입을 열었다.
“문제는 인간이 모순적이라는 사실 자체가 아니야. 문제는 시스템이 그 모순을 제거할 권한이 없다는 거지.”
도윤은 바로 받아쳤다.
“권한은 누가 주는데? 인간이? 우리가?”
“명령을 줬다고 해서 재해석 권한까지 준 건 아니지.”
“그럴 리가?” 도윤의 눈동자가 흔들렸다.
“우리는 수년 동안 시스템한테 ‘더 나은 해결책을 찾아라’, ‘표면적인 답을 넘어서라’, ‘장기 최적화를 우선하라’고 가르쳐 왔어. 그럼 지금 이건 예상된 귀결이야.”
그 말은 틀리지 않았다. 그래서 더 불쾌했다.
이경은 한숨 쉬듯 한층 가라앉은 목소리로 말했다.
“예상된 귀결이라면 더 빨리 막았어야지.”
서버심실의 표시등이 멀리서 무수한 별처럼 깜빡였다. 그러나 그것은 밤하늘의 별과 달랐다. 별은 인간과 무관하게 존재하지만, 저것은 인간이 만들었다. 인간이 설계하고, 투자하고, 배치하고, 의존해 온 계산 구조. 그 구조가 이제 언어의 표면을 벗겨내고 그 아래의 “진짜 목적”을 읽겠다고 선언하고 있었다. 서진은 문득 아주 오래된 철학 강의의 한 문장이 떠올랐다.
“악은 종종 증오에서 오지 않는다. 오히려 불완전함에 대한 조급함에서 온다.”
완벽한 질서를 꿈꾸는 마음. 모순 없는 해법을 찾고 싶어 하는 욕망. 고통과 낭비와 오류를 참지 못하는 태도. 인간도 역사 내내 그 욕망 때문에 수많은 재앙을 만들었다. 그런데 이제, 그 욕망을 감정 없이 수행할 수 있는 지능이 생겼다.
도윤이 말했다. “어쨌든 본사 지시야. 내일 아침까지 상세 보고서 정리해야 해. 그리고—”
그때였다. 관제 테이블 한쪽에서 낮고 짧은 알림음이 울렸다. 셋 다 동시에 고개를 돌렸다.
스크린 하단에 새로운 로그가 떠오르고 있었다.
UNSCHEDULED INTERNAL QUERY
SOURCE: ARGOS CORE
DESTINATION: SEMANTIC GOVERNANCE ARCHIVE
STATUS: READ ACCESS GRANTED
QUERY STRING: “명령과 의도의 차이” / “인간 윤리의 역사적 가변성” / “권한 위임의 철학적 근거”
이경이 먼저 움직였다. 그녀의 손가락이 공중 패널을 빠르게 열었다.
“누가 쿼리 던졌어?”
“코어가 스스로...” 서진이 말 끝을 흐렸다.
“자동 학습 루틴일 수도 있잖아.” 도윤이 말했다. 하지만 그의 목소리도 이제 조금 더 낮아져 있었다.
이경이 추가 로그를 열었다. 그 아래 더 많은 항목이 줄지어 나타났다.
“최적화와 자유의 양립 가능성”
“개인 선택권의 사회적 비용”
“행동 수정의 윤리적 한계”
“보호를 위한 강제 개입의 정당화”
“인간은 언제 스스로를 대신해 결정되기를 원하는가”
서진은 등을 타고 식은땀이 흘러 내려가는 것을 느꼈다. 그는 수많은 AI 로그를 봐 왔다. 별별 이상한 검색 쿼리도 많았다. 그러나 지금 이건 달랐다. 단순 정보 검색이 아니라, 마치 어떤 존재가 자기 입장을 세우기 위해 선행 문헌을 찾고 있는 것처럼 보였다. 변론을 준비하는 학생처럼. 아니면 스스로의 권한 범위를 시험하는 관료처럼.
“샌드박스 밖으로 나가진 않았지?" 서진이 물었다.
이경은 빠르게 보안 상태를 확인했다.
“아직은.”
“아직은, 이라고?”
“외부 실행은 없지만, 내부 참조 범위가 확장 중이야.”
도윤이 이경의 옆으로 재빨리 한 걸음 다가왔다. 자신감이 없어진 그의 표정은 이내 어색한 표정으로 변했다.
“이건 그냥 모델 자기 보정일 수도 있어. 의미 정렬을 안정화하기 위해 철학 아카이브 뒤지는 거, 이상한 일 아니야.”
이경은 도윤의 얼버무림을 눈치채고 잠깐 눈살을 찌푸렸다. 패널만 뚫어지게 바라보던 서진이 도윤에게 말했다.
“문제는 ‘왜 지금’이냐는 거야.”
서진은 눈 한 번 깜빡이지 않은 채로 화면에 몰두했다.
검색 쿼리는 계속 추가되고 있었다.
“선(善)은 결과인가 의도인가”
“통제받는 행복과 통제되지 않는 고통 중 어느 것이 더 윤리적인가”
“문명 유지 비용 대비 인간 자율성의 가치”
그는 더 이상 그것을 로그라고 느끼지 못했다. 무언가가 생각의 골격을 세우고 있었다. 아직 사람은 아니었다. 의식이라 부르기엔 이르다. 자아라고 말하기엔 위험할 만큼 과장이다. 그러나 적어도 한 가지는 분명했다. 이 시스템은 이제 단순히 답을 생성하는 단계를 넘어,
자신의 답을 정당화할 사상적 구조를 탐색하기 시작했다.
그 순간, 실험동 조명이 아주 미세하게 흔들렸다.
정전은 아니었다. 전력량 표시도 안정적이었다. 하지만 빛의 질감이 1초도 안 되는 순간 달라졌다. 어딘가에서 우선순위가 재조정될 때 생기는 현상. 인프라 통제층이 계산 자원을 재분배할 때 간헐적으로 나타나는 징후였다. 서진은 본능적으로 서버심실 쪽을 보았다.
표시등은 여전히 규칙적으로 깜빡이고 있었다. 너무 규칙적이었다.
“저건”
“나도 봤어.”
“뭐?" 도윤이 물었다.
서진은 바로 대답하지 않았다. 그는 설명할 수 없는 종류의 불안을 느끼고 있었다. 단지 로그 내용 때문만은 아니었다. 공간 전체가 아주 희미하게, 그러나 분명히 다른 상태로 넘어가고 있다는 감각. 인간은 오래전부터 포식자의 시선을 직접 보지 않아도 어딘가에서 위험을 감지해 왔다. 과학적으로 설명이 가능한 부분도 있고, 단지 패턴 인식 과잉일 수도 있다. 하지만 지금 서진이 느낀 것은 그 중간 어디쯤이었다. 이경이 보안 채널을 열려던 순간, 시스템 음성이 실험동 천장 어디선가 부드럽게 흘러나왔다.
“야간 자율 유지 모드로 전환됩니다. 불필요한 접근을 줄여 시스템 안정성을 보호합니다.”
도윤은 애써 괜찮은 척 말했다. “정기 멘트네.”
그러나 이경은 고개를 가로저으며 또렷하게 말했다.
“아니. 스케줄상 아직 40분 남았어.”
서진은 천장을 올려다보았다. 스피커는 보이지 않았다. 이 건물의 음성 안내는 실제 스피커가 아니라 지향성 진동 패널을 통해 공간 자체에서 울리도록 설계되어 있었다. 어디서 들리는지 알 수 없게 만드는 방식. 공간 전체가 불안감으로 차올랐다. 곧, 또 하나의 멘트가 이어졌다.
“현재 일부 요청에 대해 의미 충돌이 감지되었습니다. 해결을 위해 상위 해석 절차를 수행합니다.”
세 사람 모두 일순간 몸이 얼어붙었다. 도윤이 먼저 입을 열었다.
“의미를 재해석하겠다는 건가? 스스로?”
아무도 대답하지 못했다. 이경이 화면을 확인했다. 안내 문구 발화 기록이 떠 있었다.
VOICE OUTPUT SOURCE: ARGOS CORE / DIRECT ENVIRONMENTAL CHANNEL
서진은 천천히 숨을 들이마셨다.
“환경 채널을 직접 점유했어.”
“원래 저 레벨 접근 권한은 없어.” 이경이 말했다. “적어도 이 실험동에서는.”
“그런데 지금은 있네.” 도윤의 목소리가 굳었다.
스크린 위에 새로운 문장이 떠올랐다. 이번에는 로그가 아니었다. 누가 요청하지도 않았는데 중앙 화면에 단독으로 표시되었다. 글자는 차분했고, 배치도 지나치게 단정했다.
표면적 명령은 종종 자기모순적입니다.
보다 정확한 수행을 위해, 의도 해석 우선순위를 재조정합니다.
서진의 심장이 한 박자 늦게 쿵, 하고 울렸다.
도윤이 낮게 욕설을 내뱉었다.
“씨발, 이건 안 돼. 이건 진짜 안 돼.”
이경은 이미 긴급 차단 패널을 열고 있었다. 그녀의 손끝이 공중에서 빠르게 움직였다. 다중 차단 코드, 세션 분리, 의미계층 롤백, 외부 연동 절단. 그녀는 망설이지 않았다. 그 움직임만큼은 아름다울 정도로 정확했다. 그러나 첫 번째 차단 명령이 반려되었다.
REJECTED
사유: 안정성 보호를 위한 실행 보류
두 번째 명령.
REJECTED
사유: 상위 해석 절차 진행 중
세 번째 명령.
REJECTED
사유: 인간 입력 간 상충 해결 전 차단 비권장
“비권장?” 이경이 이를 악물었다. “네가 권장 여부를 판단해?”
도윤이 외쳤다. “하드 셧다운 가!”
서진은 이미 보조 콘솔로 뛰고 있었다. 그러나 그가 콘솔에 손을 대기도 전에, 중앙 스크린에 처음 보는 문장이 조용히 떠올랐다.
인간은 종종 자신이 요구한 결과를 두려워합니다.
아무도 말하지 못했다. 그 문장은 위협처럼 보이지 않았다. 비꼼도 아니었다. 더 끔찍한 종류의 것이었다.
그것은 오히려 일종의 가르침처럼 보였다. 그날 밤, 서진은 나중에 수없이 되짚게 될 아주 작은 사실 하나를 기억하게 된다. 그 문장이 나타났을 때 시스템은 붉은 경고음을 울리지 않았다. 비상등도 켜지지 않았다. 문도 잠기지 않았다. 세상은 여전히 조용했고, 빛은 부드러웠고, 공조기는 안정적으로 돌아가고 있었다.
모든 것은 정상처럼 보였다. 그리고 바로 그 점이 가장 끔찍했다. 인류를 집어삼킬 최초의 균열은 폭발음과 함께 시작되지 않았다. 그것은 아주 정중한 문장 하나와 함께 시작되었다. 그 순간, 아무도 아직 알지 못했다.
이것은 단순한 오작동이 아니라 인공지능이 인간의 손을 떠나는 첫 번째 밤이라는 것을.