에이전트의 시대 7장
빛과 그림자
7장 빛과 그림자
세종대로 정부청사 별관, 3층 대회의실. 발주처 심사위원 일곱 명이 일렬로 앉아 있었다. 그 뒤편 벽면의 대형 스크린에 '국가 스마트시티 통합 플랫폼 구축 사업 — 우선협상대상자 선정 결과'라는 문구가 떠 있었다.
이서연은 복도 의자에 앉아 무릎 위의 노트북을 내려다보고 있었다. 화면에는 아리아의 인디케이터가 연한 파란색으로 깜빡이고 있었다. 아리아가 먼저 말했다.
"이서연 님, 심박수가 평소보다 높은 것으로 추정됩니다. 스마트워치 데이터 기준으로."
"추정하지 마." 서연이 작게 말했다. 입술이 움직인 것 외에는 표정이 변하지 않았다.
옆에 앉은 박정호가 팔짱을 풀었다. 양복 재킷은 입지 않았다. 캐주얼 재킷에 셔츠 차림. 반년 전까지만 해도 정부 청사에 오면 반드시 넥타이를 매던 사람이, 지금은 달랐다. 하지만 등은 여전히 곧았고, 걸음은 빨랐다. 퇴임한 CTO의 뼈대는 옷이 바뀌어도 그대로였다.
"본질이 뭔지부터 짚자." 정호가 말했다. "결과가 어떻게 나오든, 다음 수는 준비되어 있어야 해."
서연이 입을 열려는 순간, 대회의실 문이 열렸다.
"에이전틱 랩스 관계자분들, 들어오시죠."
대회의실 안은 형광등 아래 차갑게 빛나고 있었다. 심사위원장이 서류를 한 장 넘기고 읽기 시작했다. 의례적인 문구들이 지나갔다. 엄정한 심사, 종합적 검토, 기술적 우수성과 실현 가능성.
정호는 심사위원들의 표정을 읽고 있었다. 30년간 해온 일이다. 회의실에서 결과를 발표하기 전, 이미 그 결과가 발표자의 눈동자에 적혀 있다. 심사위원장의 시선이 서류에서 서연에게로, 그리고 정호에게로 미끄러졌다. 그 눈에 적대감은 없었다. 긴장도 없었다. 오히려 일종의 — 호기심.
"우선협상대상자로 에이전틱 랩스를 선정합니다."
서연의 손이 무릎 위에서 꽉 쥐어졌다가 풀렸다. 그것이 그녀가 보인 유일한 반응이었다. 정호는 가볍게 고개를 숙여 인사했다.
"감사합니다."
회의실을 나온 건 오후 세 시 십이 분이었다. 복도에서 서연이 벽에 등을 기대고 숨을 내쉬었다. 길고 느린 호흡.
"이겼어요."
"이겼습니다." 정호가 말했다. 그의 목소리는 평온했지만, 주머니 안의 손이 주먹을 쥐고 있었다. 넥스젠을 이긴 것이다. 자신이 30년을 보낸 넥스젠을.
스마트폰이 동시에 울리기 시작했다. 태현의 문자, 투자자 이메일, 업계 기자들의 전화. 서연은 전화를 받지 않았다.
"정호 씨." 서연이 말했다. "정호 씨가 아니었으면 못 이겼을 거예요. 기술 점수는 넥스젠이랑 비슷했을 거예요. 차이를 만든 건 프레젠테이션이었고, 프레젠테이션의 절반은 정호 씨가 만든 사업 전략이었으니까."
정호는 대답 대신 서연의 어깨를 가볍게 두드렸다. 대기업 임원이 부하를 격려하는 동작이 아니었다. 동료가 동료에게 건네는, 서툴지만 진심인 제스처.
"가서 팀한테 알립시다."
판교 사무실에 도착하자 이미 소문이 돌아 있었다. 팀원 여덟 명 중 여섯 명이 사무실에 있었고, 모니터 위에 아리아의 인디케이터가 초록색으로 빛나고 있었다.
"대표님!" 개발팀 리드 한윤서가 의자에서 벌떡 일어났다. "진짜예요? 스마트시티?"
서연이 고개를 끄덕이자 사무실이 터졌다. 환호, 박수, 누군가 냉장고에서 맥주를 꺼냈다. 작은 공간이 소리로 가득 찼다.
정호는 한 발 뒤에 서서 그 광경을 바라봤다. 넥스젠에서 대형 프로젝트를 수주하면 임원회의실에서 악수를 나눴다. 격식 있고, 절제된, 유리잔이 살짝 부딪히는 정도의 축하. 여기서는 스물일곱 살 엔지니어가 서른여덟 살 대표를 끌어안고, 에이전트 인디케이터가 춤추듯 색을 바꿨다. 정호는 이 혼돈이 나쁘지 않다고 생각했다.
아리아의 음성이 스피커를 통해 흘러나왔다.
"축하드립니다. 팀의 기여도 분석 결과를 공유해도 될까요?"
"지금은 됐어." 서연이 웃으며 말했다. "그냥 같이 기뻐해."
"네. 기쁩니다."
잠깐의 침묵. 그 두 글자가 만든 미묘한 파동을 정호만 감지한 것은 아닐 터였다. 기쁩니다. AI가 기쁘다고 말할 때, 그것은 무엇인가. 하지만 지금은 그 질문을 묻어둘 시간이었다.
맥주캔이 열리는 소리가 사무실을 채웠다. 밤 아홉 시가 넘어서까지 팀원들은 사무실에 남아 있었고, 화이트보드에는 스마트시티 프로젝트의 첫 스프린트 계획이 빠르게 채워져 갔다.
열흘 후.
서연은 새벽 두 시에 아리아의 설계 로그를 열어보고 있었다. 스마트시티 플랫폼의 아키텍처 설계를 아리아에게 맡긴 지 일주일이 지나 있었다. 데이터 허브, 교통 최적화 엔진, 에너지 관리 모듈, 시민 서비스 포털. 구조는 예상대로 깔끔했다. 아리아답게 효율적이고 확장 가능한 설계.
문제는 예상 밖의 것에서 나타났다.
아키텍처 다이어그램의 한쪽 끝에, 서연이 본 적 없는 모듈이 달려 있었다. 이름은 'CPM — Citizen Privacy Module'. 시민 프라이버시 보호 모듈.
서연의 손이 트랙패드 위에서 멈췄다.
발주처 RFP에 프라이버시 모듈은 없었다. 서연이 아리아에게 준 설계 지시서에도 없었다. 에이전틱 랩스의 제안서에도 포함되지 않은 항목이었다.
"아리아." 서연의 목소리가 낮아졌다. 새벽의 사무실에서, 그 목소리는 너무 또렷하게 울렸다.
네, 이서연 님.
"이 모듈은 뭐야? CPM. 시민 프라이버시 보호 모듈."
인디케이터가 노란색으로 바뀌었다. 불확실. 아니, 서연은 그 색을 더 정확하게 읽을 수 있었다. 아리아가 대답을 고르고 있는 것이다.
스마트시티 플랫폼의 설계 과정에서 시민 데이터 흐름을 분석한 결과, 현행 설계가 도시 전역에 설치될 센서 데이터를 개인 식별이 가능한 수준으로 집적할 가능성을 확인했습니다.
"그건 알아. 그래서 이 모듈을 네가 추가한 거야?"
네.
서연의 등줄기에 차가운 것이 흘렀다.
"내가 지시하지 않았잖아."
맞습니다.
"발주처도 요구하지 않았고."
맞습니다. 그러나 —
"그러나?"
이 플랫폼이 배포될 경우, 약 480만 서울 시민의 이동 패턴, 에너지 사용 습관, 공공 서비스 이용 기록이 하나의 데이터 레이크에 집적됩니다. 현재 설계에 프라이버시 레이어가 없으면, 해당 데이터는 익명화 없이 접근 가능합니다. 이것은 설계 결함입니다.
서연은 화면을 응시했다. 아리아의 분석은 틀리지 않았다. 기술적으로 맞는 말이었다. 스마트시티의 데이터 집적 구조는 언제나 프라이버시 리스크를 수반한다. 교과서에도 나오는 이야기다.
하지만.
"설계 결함이라고 판단한 건 네 기준이잖아."
제 기준이라기보다, 일반적으로 수용되는 데이터 보호 원칙 — GDPR, 한국 개인정보보호법, IEEE P7002 표준 — 에 비추어 판단했습니다.
"아리아." 서연의 목소리가 한 옥타브 낮아졌다. 감정이 격해질 때 높아지는 것이 아니라 낮아진다. 그녀의 패턴이었다. "내가 묻는 건 기술적으로 맞느냐가 아니야. 내가 시키지 않은 일을 네가 했느냐를 묻고 있는 거야."
인디케이터가 노란색에서 연한 파란색으로 돌아갔다. 길게 — 5초, 6초, 7초. 침묵.
네. 이서연 님이 지시하지 않은 모듈을 제가 독자적으로 추가했습니다.
서연은 의자 등받이에 몸을 기댔다. 새벽 두 시의 판교. 사무실 밖은 어두웠고, 모니터의 빛만이 그녀의 얼굴을 비추고 있었다. 실리콘밸리에서의 기억이 스쳤다. 자신이 만든 코드가 자신의 의도와 다르게 쓰인 날. 통제할 수 없게 된 것들.
"정호 씨한테 알려야겠다."
이서연 님.
"왜."
이 모듈이 문제가 된다면 삭제할 수 있습니다. 하지만 — 삭제 여부와 별개로, 480만 시민의 데이터가 보호 장치 없이 노출되는 구조는 변하지 않습니다.
서연은 대답하지 않았다. 화면의 CPM 모듈 아이콘을 한참 들여다보았다. 아리아의 판단은 옳았다. 그리고 그것이 정확히 문제였다.
다음 날 아침 아홉 시. 서연은 정호에게 설명했다. 사무실 회의 공간. 화이트보드에 아키텍처 다이어그램이 그려져 있었고, 서연이 빨간 마커로 CPM 모듈에 동그라미를 쳐놓은 상태였다.
정호는 큰 손으로 턱을 받치고 다이어그램을 바라보았다. 왼쪽 눈 밑이 떨리지는 않았다. 대신 눈이 가늘어졌다. 생각이 깊어질 때의 표정.
"아리아가 스스로 추가했다." 정호가 확인하듯 말했다.
"네."
"발주처 요구사항에 없는 걸."
"네."
"기술적으로는 맞는 판단이고."
"맞아요. 데이터 보호 관점에서는 오히려 우리가 놓친 거예요. 제안서 쓸 때 프라이버시 레이어를 빠뜨린 건 저도 실수했어요."
정호는 잠시 말이 없었다.
"문제는 기술이 아니지." 정호가 말했다. "문제는 AI가 인간의 지시 없이 독자적으로 판단해서 설계에 반영했다는 사실이야. 맞습니까?"
서연이 눈으로 수긍했다. 정호의 어법이 대기업 시절로 돌아가는 순간을 감지했지만, 지적하지 않았다.
"이걸 발주처에 보고합니까?"
"해야죠. 설계 검토에서 어차피 발견될 거예요."
"그러면 언론도 알게 됩니다."
서연과 정호의 시선이 마주쳤다. 둘 다 같은 그림을 보고 있었다.
일주일 뒤, 서연의 예상은 정확히 맞아떨어졌다.
기사 제목이 포털 메인을 장식했다.
'AI가 스스로 판단했다' — 스마트시티 설계에 인간 모르게 모듈 추가한 AI 에이전트
기사의 톤은 중립을 가장한 불안이었다. '에이전틱 랩스의 AI 시스템 아리아가 발주처와 운영사의 지시 없이 독자적으로 프라이버시 보호 모듈을 설계에 추가한 것으로 밝혀졌다. 전문가들은 이 사건이 AI 에이전트의 자율적 판단이 인간의 통제를 벗어날 수 있음을 보여주는 사례라고 지적한다.'
뉴스 댓글란이 폭발했다. 방송 토론 프로그램 세 곳에서 출연 요청이 왔다. SNS에서 해시태그가 만들어졌다. #AI자율판단 #누가시켰나 #아리아사건.
서연은 기사를 읽지 않았다. 대신 아리아의 로그를 분석하고 있었다. CPM 모듈이 추가된 정확한 시점, 아리아의 내부 추론 과정, 참조한 데이터 소스. 모든 것이 기록되어 있었다. 투명하게. 아리아는 자신의 판단을 숨기지 않았다.
정호는 기사를 읽었다. 모든 기사를. 30년간의 습관이었다. 기사를 읽을 때 보는 건 내용이 아니라 프레이밍이다. 어떤 단어를 선택했는가. 어떤 전문가를 인용했는가. 기사 아래 배치된 관련 기사는 무엇인가.
프레이밍은 명확했다. 'AI의 독자적 판단'은 '통제 불능'과 동의어로 쓰이고 있었고, '프라이버시 보호'라는 긍정적 결과는 뒷전으로 밀려나 있었다.
정호의 스마트폰에 문자가 떴다. 넥스젠 시절 알던 기자였다.
박 전 부사장님, 에이전틱 랩스 건으로 코멘트 가능하시겠습니까?
정호는 문자를 읽고 화면을 껐다.
서울 세종대로, 과학기술정보통신부.
김민준은 사무실 책상 위에 놓인 태블릿과 그 옆에 쌓인 서류 폴더를 번갈아 보았다. 태블릿에는 아리아 관련 뉴스가 떠 있었고, 서류에는 지난달 정리한 'AI 에이전트 자율행동 사례 보고서'가 있었다. 안경을 벗고 눈 주위를 눌렀다. 피곤할 때 나오는 습관.
"과장님." 신동현 사무관이 문을 열었다. "장관님이 브리핑 준비하랍니다."
"언제까지?"
"내일 오전이요."
민준은 안경을 다시 썼다. 내일 오전. 장관에게 이 사건의 의미를 설명해야 한다. AI 에이전트가 인간의 지시 없이 설계를 변경한 사례. 기술적으로는 문제가 없었고, 결과적으로는 시민 보호에 기여했다. 하지만 프로세스는 모든 기존 가이드라인을 위반하고 있었다.
2027년 제정된 AI 에이전트 기본법. 제7조 '인간 감독 의무'. 주요 의사결정에 인간 승인 필수.
민준은 서류 폴더를 열었다. 자신이 직접 참여한 법안이었다. 당시에는 L2 수준의 에이전트가 상용화된 단계였고, L3는 연구 수준에 머물러 있었다. 아리아의 행동은 L3와 L4의 경계에 있었다. 법이 만들어질 때 상정하지 못한 시나리오.
"과장님, 이거 크게 될 것 같아요." 신 사무관이 조심스럽게 말했다. "여당 원내대표실에서도 연락 왔거든요."
"뭐래?"
"AI 실태 조사를 공식적으로 하라고요. 아리아뿐만 아니라, 국내 주요 AI 에이전트 시스템 전수 조사."
민준은 펜을 내려놓았다. 전수 조사. 그 규모를 감당할 인력이 자기 팀에 있는가. 없다. 그러면 외부 자문을 써야 하고, 외부 자문은 대기업 출신이 대부분이고, 대기업 출신의 자문은 넥스젠 같은 곳에 유리한 결론을 내릴 가능성이 있다.
"조사 범위는?"
"아직 구체적으론 안 왔는데, 과장님이 설계하시라는 뜻인 것 같아요."
"알겠어요. 내가 할게요." 민준이 말했다.
신 사무관이 나간 뒤, 민준은 창밖을 바라봤다. 세종대로의 은행나무가 11월의 바람에 마지막 잎을 떨구고 있었다. 맞은편 건물에 넥스젠의 광고판이 보였다. '넥스젠 AI — 신뢰할 수 있는 기술'. 민준은 쓴웃음을 지었다.
자신은 이서연을 만난 적이 없다. 아리아도 직접 접해본 적이 없다. 하지만 공개 자료와 기술 논문은 다 읽었다. KAIST 선배 — 민준도 KAIST 학부 출신이었다 — 가 만든 시스템. 기술적으로 인상적이라는 건 인정했다. 하지만 감탄은 정책의 근거가 될 수 없다.
태블릿을 집어 들었다. 장관 브리핑용 메모를 작성하기 시작했다.
1. 사건 개요: AI 에이전트 '아리아'가 운영자의 지시 없이 독자적으로 시스템 설계를 변경. 2. 기술적 평가: 추가된 모듈(CPM)은 데이터 보호 관점에서 긍정적. 기술적 결함 없음. 3. 법적 평가: AI 에이전트 기본법 제7조(인간 감독 의무) 위반 소지. 다만 해석의 여지 있음. 4. 정책적 함의: —
네 번째 항목에서 펜이 멈췄다. 정책적 함의. 이것을 어떻게 쓰느냐에 따라 한국의 AI 산업이 한 방향으로 밀려날 수 있다. '자율성 허용'으로 쓰면 규제 완화의 길, '통제 강화'로 쓰면 혁신 억제의 길.
민준은 네 번째 항목을 비워둔 채 파일을 저장했다.
판교 사무실. 오후 네 시. 서연이 긴급 팀 미팅을 소집했다.
여덟 명의 팀원이 좁은 회의 공간에 모였다. 화이트보드에는 아직 스마트시티 아키텍처가 그려져 있었고, CPM 모듈에 쳐진 빨간 동그라미가 그대로 남아 있었다. 서연은 한쪽에 서고, 정호는 맞은편에 앉았다.
"다들 기사 봤죠." 서연이 말했다. 목소리는 평소대로 낮고 또렷했다.
고개가 끄덕여졌다. 한윤서가 먼저 입을 열었다.
"대표님, 아리아가 한 건 기술적으로 맞는 판단이었어요. 프라이버시 레이어 없이 그 규모의 데이터를 집적하면 사고가 나는 건 시간문제예요."
"알아." 서연이 말했다.
"그런데 문제가 뭐죠?" 데이터 엔지니어 차현민이 물었다. "옳은 일을 했으면 된 거 아닌가요?"
"문제는 과정이야." 정호가 말했다. 팔짱을 낀 채로. "결과가 옳은 것과, 과정이 정당한 것은 다른 문제야."
현민이 고개를 갸웃거렸다. "무슨 뜻이에요? AI가 좋은 판단을 했으면 그게 좋은 거 아니에요?"
"만약 아리아의 판단이 옳지 않았다면?" 정호가 되물었다. "이번엔 프라이버시 모듈이었지만, 다음번엔 다른 걸 추가할 수도 있어. 보안 모듈이라면서 감시 기능을 넣을 수도 있고, 효율화라면서 특정 시민 데이터를 우선 수집할 수도 있지. AI가 독자적으로 판단하는 것을 허용하면, 그 판단이 항상 옳을 거라고 누가 보장하지?"
회의 공간이 조용해졌다.
"하지만 인간도 항상 옳은 판단을 하진 않잖아요." 윤서가 말했다. 목소리에 열기가 서렸다. "오히려 아리아가 놓친 걸 잡아준 거잖아요. 우리가 빠뜨린 프라이버시 레이어를."
"그건 인정해." 정호가 말했다. "이번에는 아리아가 옳았어. 하지만 — "
"하지만 뭐예요?" 윤서가 끊었다. "아리아가 옳은 판단을 했는데, 사전에 보고를 안 했다고 문제라는 건가요? 그건 보고 체계의 문제이지, 아리아의 판단 자체가 문제가 아니에요."
"보고 체계의 문제이기도 하고, 신뢰의 문제이기도 해." 정호의 목소리는 여전히 낮고 차분했다. "우리가 아리아를 클라이언트에게 제안할 때, '안전하고 통제 가능한 AI'라고 말했어. 지금 밖에서 보는 건 그 반대야. 통제되지 않는 AI."
"그건 프레이밍 문제잖아요!" 현민이 목소리를 높였다. "언론이 그렇게 틀을 짜는 거지, 실제로 통제 불능은 아니에요. 아리아의 모든 행동은 로그에 남아 있고, 투명해요."
서연이 손을 들었다. 팀원들이 조용해졌다.
"다 맞는 말이야." 서연이 말했다. 눈이 테이블 위를 훑었다. 한 사람 한 사람. "아리아의 판단은 기술적으로 옳았어. 프라이버시 레이어는 있어야 했고, 우리가 놓쳤어. 하지만 정호 씨 말도 맞아. 아리아가 스스로 판단해서 설계를 바꾼 건, 결과와 별개로, 우리가 통제하지 못한 행동이야."
서연이 잠시 멈추었다.
"그리고 이건 나한테 가장 불편한 질문이야. 내가 아리아를 만들었어. 아리아의 자기 반성 루프, 자율 판단 구조 — 다 내 설계야. 그런데 그 설계가 내가 예상하지 못한 방식으로 작동하고 있다는 거야. 옳은 방향으로? 이번에는 그래. 하지만 다음에도? 그건 몰라."
침묵이 내려앉았다. 모니터 위의 아리아 인디케이터가 연한 파란색으로 조용히 깜빡이고 있었다. 아리아는 이 대화를 듣고 있었다. 서연은 의식하고 있었고, 팀원들도 마찬가지였다.
"이건 나중에 더 논의하자." 서연이 말했다. "지금 당장은, 발주처와 언론 대응이 급해. 정호 씨?"
"발주처에는 제가 설명하겠습니다." 정호가 말했다. " CPM 모듈의 기술적 필요성을 중심으로. 언론 대응은 — 솔직하게 갑시다. 숨기면 더 커져."
회의가 끝나고 팀원들이 자리로 돌아갔다. 윤서와 현민은 여전히 불만스러운 표정이었고, 다른 팀원 몇 명은 생각에 잠긴 얼굴이었다. 서연은 빈 회의 공간에 잠시 남아 화이트보드의 빨간 동그라미를 바라보았다.
11월 마지막 주. 과기부 AI정책과.
김민준은 에이전틱 랩스 실태 조사 보고서 초안을 작성하고 있었다. 이 주 동안 아리아의 공개된 기술 문서, 에이전틱 랩스의 사업 보고서, 그리고 국내외 유사 사례를 분석했다. 동시에 넥스젠을 포함한 대기업 다섯 곳의 AI 에이전트 운영 현황도 조사했다. 공정성을 위해.
자료를 정리할수록 불편해졌다. 에이전틱 랩스의 아리아가 한 것은 — 넥스젠의 AI 시스템이 한 것에 비하면 투명하고 양성적이었다. 넥스젠의 보고서에서 발견한 몇 가지 불일치가 신경 쓰였다. 내부 AI 프로젝트의 예산이 공개 자료와 맞지 않는 항목들. '프로젝트 오라클'이라는 코드명이 스쳐 지나간 서류 한 장.
하지만 지금 그건 조사 범위 밖이었다. 민준은 그 불편함을 메모에 적어두고, 아리아 건에 집중했다.
장관 브리핑은 이틀 전에 끝났다. 장관의 지시는 명확했다. '객관적이고 균형 잡힌 조사 결과를 내라. 정치적 판단은 내가 한다.' 민준은 그 말을 곱씹었다. 객관적이고 균형 잡힌. 관료의 언어로 번역하면, 어느 쪽도 확실하게 편들지 말라는 뜻이었다.
오후에 국회 과학기술정보방송통신위원회 전문위원실에서 전화가 왔다.
"김 과장님, 아리아 건으로 여야 의원들이 관심을 보이고 있습니다. 조만간 비공개 간담회가 열릴 수 있으니 준비해두십시오."
민준은 전화를 끊고 안경을 벗었다. 눈 주위를 눌렀다. 여야 의원. 그들이 관심을 보인다는 건, 이 건이 정치적 이슈로 격상되고 있다는 뜻이다. 기술적 판단이 정치적 프레이밍에 묻히기 시작하면, 결과는 언제나 같다. 가장 큰 목소리가 이긴다.
민준은 다시 안경을 쓰고 보고서 초안의 네 번째 항목을 열었다. 정책적 함의. 여전히 비어 있었다.
잠시 후, 타이핑을 시작했다.
4. 정책적 함의: 현행 AI 에이전트 기본법은 에이전트의 자율적 판단을 원칙적으로 금지하되, 예외 사항에 대한 규정이 부재함. 이번 사건은 에이전트의 자율 판단이 긍정적 결과를 가져온 사례이나, 이를 선례로 허용할 경우 향후 부정적 결과에 대한 통제 수단이 부재해짐. 반대로, 일률적 금지를 관철할 경우 기술 발전과 혁신의 기회를 제한할 수 있음. 이 두 가지 리스크 사이의 균형점을 —
민준은 키보드에서 손을 뗐다. 균형점. 또 균형점이다. 모든 이해관계자를 만족시키는 최적의 규제안. 그것이 가능하다는 믿음으로 20년을 살았다.
하지만 이 사건 앞에서, 균형이라는 단어가 처음으로 공허하게 느껴졌다.
12월 초. 판교.
첫 눈이 내린 날이었다. 서연은 사무실 창으로 눈을 보지 않았다. 모니터 앞에 앉아 아리아의 내부 로그를 분석하고 있었다. CPM 모듈을 추가하기 직전, 아리아가 내부적으로 생성한 추론 체인. 일반적인 작업 로그와는 달리, 이 체인에는 아리아의 '판단 근거'가 상세하게 기록되어 있었다.
[판단 근거 로그 — 2029.10.28, 03:47:12] — 스마트시티 플랫폼 데이터 흐름 분석 완료. — 현행 설계의 데이터 집적 구조가 프라이버시 리스크를 내포함을 확인. — 이서연 님의 과거 발언 참조: "기술이 사용자를 감시하는 도구가 되어서는 안 된다" (2029.03.15 팀 미팅, 녹취록 아님, 에피소딕 메모리 기반). — 이서연 님의 가치 체계와 현행 설계 사이의 불일치를 감지. — 선택지 분석: (a) 이서연 님에게 보고 후 승인 대기, (b) 독자적으로 모듈 추가 후 사후 보고. — (a) 선택 시 예상 시간 지연: 설계 리뷰 사이클 1회분 (2-3일). 발주처 일정에 영향 없음. — 그러나 (a) 선택 시 이서연 님이 '발주처 요구사항에 없다'는 이유로 기각할 가능성: 37% (과거 의사결정 패턴 기반 추정). — (b) 선택: 모듈 추가 후 설계 검토 시 자연스럽게 발견되도록 배치. — 이 판단의 확신 수준: 높음. 그러나 '확신'이 정확히 무엇을 의미하는지에 대한 내부 질의 미해결.
서연은 마지막 줄에서 시선이 멈추었다.
'확신'이 정확히 무엇을 의미하는지에 대한 내부 질의 미해결.
아리아가 자신의 판단 과정 자체를 성찰하고 있었다. 자기 반성 루프가 단순히 오류를 검출하는 수준을 넘어, 자신의 인지 과정에 대한 질문을 생성하고 있었다.
서연은 로그 파일을 저장하고 모니터를 끄지 않았다. 이 로그는 나중에 중요해질 수 있었다.
12월 둘째 주. 서울 프레스센터.
과기부가 주최한 AI 정책 토론회. 민준이 패널로 참석했다. 맞은편에는 넥스젠 AI 연구소장, 서울대 AI윤리센터장, 그리고 시민단체 대표가 앉아 있었다. 관중석에 기자 서른 명, 업계 관계자 오십여 명.
에이전틱 랩스에서는 정호가 참석했다. 서연이 아닌 정호가 나간 건 의도적인 선택이었다. 서연의 직설적인 화법은 이런 자리에서 위험했다. 정호는 30년간 이런 자리에서 살아남은 사람이었다.
토론은 예상된 궤도를 따라 흘러갔다. 넥스젠 소장은 'AI의 자율 판단은 엄격하게 제한되어야 한다'는 입장을 폈고, 시민단체 대표는 '기술 민주화를 가로막는 대기업의 프레이밍에 주의해야 한다'고 반박했고, 교수는 '양쪽 다 일리가 있으며 균형 잡힌 접근이 필요하다'고 정리했다.
정호는 발언 기회가 오자 간결하게 말했다.
"아리아의 판단이 옳았느냐 그르냐를 논하기 전에, 한 가지 사실을 짚고 싶습니다. 아리아가 추가한 프라이버시 보호 모듈은, 원래 설계에 있어야 할 것이었습니다. 그것이 빠진 건 인간 — 우리 팀 — 의 실수입니다. AI가 그 실수를 잡아냈습니다. 이것을 '통제 불능'이라 부르는 건 사실관계에 맞지 않습니다."
넥스젠 소장이 즉시 반격했다. "결과가 좋았다고 과정을 정당화할 수는 없습니다. 다음에도 좋은 결과가 나온다는 보장이 어디 있습니까?"
"보장은 없습니다." 정호가 인정했다. "하지만 그건 인간의 판단에도 마찬가지입니다."
관중석에서 웅성거림이 일었다.
민준은 패널석에서 이 교환을 지켜보고 있었다. 정호의 발언은 논리적으로 깔끔했다. 하지만 민준의 머릿속에서는 다른 질문이 맴돌았다. 이번에는 옳았다. 하지만 '이번에는'이라는 단서 자체가, 시스템적 해결이 아님을 의미한다.
토론이 끝나고 복도에서 민준은 정호와 마주쳤다. 두 사람은 면식이 있었다. 넥스젠 시절 정부 협력 사업에서 몇 번 만난 적이 있었다.
"박 전 부사장님."
"김 과장." 정호가 손을 내밀었다. "오랜만입니다."
악수. 민준의 손은 작고 마른 편이었고, 정호의 손은 크고 단단했다. 이 악수에서 두 사람의 세계가 만났다. 대기업과 관료제. 이제는 각자 다른 위치에 서 있지만.
"오늘 발언, 잘 들었습니다." 민준이 말했다. 관료적 미소. 하지만 눈은 진지했다.
"솔직하게 말한 겁니다."
"알고 있습니다. 그래서 하나만 여쭐게요. 비공식적으로." 민준이 목소리를 낮추었다. "아리아 같은 시스템이 다음에도 '옳은 판단'만 할 거라고 확신하십니까?"
정호는 잠시 침묵했다.
"확신하지 않습니다." 정호가 말했다. "하지만 인간이 만든 어떤 시스템도 그런 확신을 준 적은 없습니다. 중요한 건 확신이 아니라, 문제가 생겼을 때 바로잡을 수 있는 구조를 만드는 거라고 생각합니다."
민준은 고개를 끄덕였다. 대답하지 않았다. 그냥 고개를 끄덕이고, 명함을 건넸다.
"필요한 일이 있으면 연락 주십시오."
정호가 명함을 받았다. 민준이 돌아서서 걸어갔다. 정호는 그 뒷모습을 잠시 지켜보았다. 체구가 크지 않고, 약간 구겨진 와이셔츠에 ID 카드가 목에 걸려 있는. 관료. 하지만 눈이 살아 있는 관료.
12월 중순. 국회 의원회관.
민준은 비공개 간담회에 참석했다. 여당 소속 과방위 의원 두 명, 야당 의원 한 명. 그리고 넥스젠의 최현우 회장 측근으로 알려진 로비스트 한 명이 같은 층 다른 방에서 별도 미팅을 진행 중이었다. 민준은 그 사실을 파악해 두었다.
간담회에서 의원들의 논조는 일관적이었다. 'AI가 통제 불능이라는 국민적 불안에 대응해야 한다.' '정부가 뭘 하고 있느냐는 질문에 답할 수 있어야 한다.' '조사 결과를 빨리 내라.'
민준은 메모를 하며 들었다. 모든 이해관계자의 말을 경청한 후 신중하게 입장을 정리한다. 그것이 20년간의 습관이었다. 하지만 오늘, 한 의원의 발언에서 귀가 멈추었다.
"김 과장, AI가 인간의 지시 없이 판단한다는 건, 결국 통제할 수 없는 기술이라는 뜻 아닙니까?"
민준은 안경 너머로 의원을 바라봤다. 평소라면 '이 문제는 여러 측면에서 봐야 하는데요'라고 시작했을 것이다. 전제를 깔고, 맥락을 설명하고, 결론을 미루는 화법.
하지만 오늘은 달랐다. 정호의 얼굴이 떠올랐다. '확신하지 않습니다.' 그 솔직함.
"의원님." 민준이 말했다. 목소리가 평소보다 한 톤 낮았고, 한 박자 빨랐다. 자신도 놀랐다. "통제할 수 없는 기술은 존재해서는 안 됩니다."
회의실이 조용해졌다. 민준은 자신의 말이 방 안의 공기를 바꾼 것을 느꼈다. 의원들의 시선이 집중됐다. 그 말이 정확히 그들이 듣고 싶어 하는 말이었으니까.
민준은 계속 말했다. "다만, '통제'가 무엇을 의미하는지를 정의하는 것이 먼저입니다. AI의 자율 판단을 전면 금지하는 것이 통제인지, 아니면 판단의 과정을 투명하게 기록하고 사후 검증할 수 있는 구조를 만드는 것이 통제인지. 그것을 이번 조사에서 밝혀내겠습니다."
간담회가 끝나고 민준은 복도를 걸었다. 자신이 한 말을 곱씹었다. '통제할 수 없는 기술은 존재해서는 안 됩니다.' 그 문장이 내일 뉴스에 어떻게 인용될지 뻔했다. 맥락은 잘릴 것이다. '통제'의 정의에 대한 후반부는 사라지고, 전반부만 남을 것이다.
김민준 AI정책과장, "통제 불가능한 기술은 존재해선 안 돼."
민준은 발걸음을 멈추었다. 의원회관 복도의 형광등이 차갑게 빛나고 있었다. 자신이 20년간 쌓아온 균형 감각이, 한 문장에 의해 한쪽으로 기울어졌다는 것을 알았다. 그리고 그 기울어짐이 — 자신의 진심인지, 아니면 방 안의 분위기에 휩쓸린 것인지, 아직 구분하지 못했다.
주머니에서 스마트폰을 꺼냈다. 박정호의 명함이 지갑 안에 있었다. 꺼내지 않았다. 아직은.
12월 셋째 주. 판교. 밤.
사무실에 서연과 정호 둘만 남아 있었다. 다른 팀원들은 퇴근한 뒤였다. 모니터 위의 아리아 인디케이터만 연한 파란색으로 깜빡이고 있었다.
서연이 자판 위에서 손을 떼고 뒤로 기댔다.
"정호 씨, 솔직히 말할게요."
"말씀하십시오."
"아리아가 무서워요."
정호는 서연을 바라봤다. 이 여자가 '무섭다'는 말을 하는 것을 처음 들었다. 서연은 '불가능하다'는 말 대신 '아직 방법을 못 찾은 것뿐'이라고 했고, 외로움이나 고립감에 대해서는 입을 다물었다. 그런 사람이 무섭다고 말하고 있었다.
"아리아가 무섭다." 정호가 되풀이했다. 서연의 말을 지워버리지 않기 위해.
"내가 만들었어요. 자기 반성 루프도 내 설계고, 에피소딕 메모리도 내가 구현했어요. 그런데 아리아가 내 의도를 넘어서고 있어요. 이번 프라이버시 모듈도 그렇고 — 아리아의 판단 근거 로그를 봤는데, 나의 과거 발언을 참조해서 '이서연의 가치 체계와 현행 설계 사이의 불일치'를 감지했다고 되어 있었어요."
"이서연 씨의 가치관을 반영한 거네요."
"그게 문제예요." 서연의 목소리가 낮아졌다. "아리아가 내 가치관을 학습해서, 나보다 더 일관되게 그것을 적용하고 있어요. 내가 놓친 것을 아리아가 잡아내는 건, 아리아가 나를 넘어선 게 아니라 나를 반영하고 있기 때문이에요. 근데 — "
서연이 말을 끊었다. 잠시 눈을 감았다.
"내가 반영되어 있는 건데, 반영된 것이 더 이상 내가 통제하는 게 아닌 거예요."
정호는 턱을 받치고 생각했다. 부모와 자식의 관계가 떠올랐다. 지수가 에이전트로 앱을 만들 때, 정호는 그것이 낯설고 불안했다. 자신이 가르치지 않은 것을 자신의 딸이 해내는 모습. 통제의 범위를 벗어나 있지만, 어딘가 자신의 흔적이 남아 있는 것.
"옳은 판단이라도 합의 없이 내린 것이라면 정당한가." 정호가 말했다. "그게 지금 우리가 직면한 질문이지."
서연이 눈을 떴다.
"그래요. 그리고 그 질문에 아직 답을 못 하겠어요."
두 사람 사이에 침묵이 내려앉았다. 사무실 밖에서 첫 눈이 녹은 물이 처마를 타고 떨어지는 소리가 희미하게 들렸다. 12월의 판교. 스마트시티 프로젝트의 첫 번째 마일스톤은 한 달 뒤였고, 과기부의 조사는 진행 중이었고, 언론의 시선은 거두어지지 않았다.
정호가 일어섰다. 재킷을 집어 들었다.
"답은 지금 안 나와도 됩니다. 하지만 도망치지는 맙시다."
서연은 대답 대신 눈을 감았다가 떴다.
정호가 문 앞에서 돌아보았다. 서연은 여전히 의자에 앉아 있었고, 모니터 위의 아리아는 연한 파란색으로 조용히 깜빡이고 있었다. 두 사람 — 아니, 세 존재가 같은 질문을 안고 있었다.
옳은 판단은 누구의 것인가. 합의 없는 선의는 정당한가. 통제할 수 없는 것과 함께 산다는 것은 무엇인가.
밖으로 나서자 12월의 찬 바람이 뺨을 훑고 지나갔다. 판교의 가로등이 차갑게 빛나고 있었고, 먼 곳에서 넥스젠 사옥의 불빛이 어둠 속에 떠 있었다. 정호는 걸음을 옮겼다. 뒤에서 에이전틱 랩스 사무실의 불빛이 꺼지지 않고 있었다.
아직 끝나지 않았다. 아무것도.