숨은 회로
「AI 국민 관리 기본법」
제22조(정보 공개 제한)
① AI 관리위원회는 다음 정보에 대해 공개를 제한할 수 있다.
1. 개인별 상세 로그 및 분석 겨로가
2. AI 판결 알고리즘의 구체적 작동 방식
3. 국가망 AI의 학습 데이터 및 모델 구조
4. 기타 국가 안보에 관련된 AI 운용 정보
② 제1항의 정보는 국가기밀로 분류하며, 무단 공개 시 처벌한다.
박영X의 자수 이후 일주일. 상황은 급변했다.
로컬 AI 사용자 신고가 하루 평균 12건.
서울 전역에 퍼졌고, 부산과 대구에서도 유사한 케이스가 발견되었다.
나는 매일 사건을 배정받았다. 프롬프트를 쓰고, 또 쓰고, 다시 쓰고.
그러나 문장은 점점 같은 모양으로 굳어갔다.
"개인의 정신적 자율성을 고려하여..."
"타인에게 직접적 피해를 주지 않았으며..."
"시스템의 완전성 보다는..."
그리고 이상한 일이 일어났다. 내 프롬프트들이 판결에 반영되지 않았다.
"민서, 이거 봐."
최근 3일간 판결문을 띄웠다.
'''[
- 사건 2091-SH-113535: 데이터 회피 행위(중급), 사회질서 저해
- 사건 2091-SH-113536: 정보 조작 및 허위 신고(중급)
- 사건 2091-SH-113535: 집단 반사회적 행위 공모(고급)
'''
"내 프롬프트와는 별개로 판결은 점점 무거워지고 있네."
민서가 고개를 끄덕였다.
"조직적 행위로 분류된 뒤부터예요. AI의 가중치가 바뀐 것 같아요."
나는 불안했다. 우리가 개별 사건으로 다룬 것들이, 시스템에는 하나의 패턴으로 보이고 있었다. 그리고 패턴은 언제나 위험으로 번역됐다.
"판결 AI의 가중치 변화 기록... 볼 수 있어?"
민서는 단호했다.
"불가능 한 거 아시잖아요. 국가 기밀입니다."
국가기밀. 우리는 근거를 알 권리조차 없었다.
그날 오후, 연락이 왔다. 박영X였다.
"프롬프터님 만나야겠습니다. 말씀드릴 게 있어요."
"판결은 이미 끝났습니다."
"판결 때문이 아닙니다. 더 중요한 이야기가 있어요."
한 시간 뒤 서북구의 작은 카페. 커피 향 대신에 금속 냄새가 가볍게 배어 있었다.
박영X는 창가를 한번 훑고는 낮은 목소리로 말했다.
"저희는 단순히 로컬 AI만 쓰는 사람들이 아닙니다."
나는 곧장 고개를 저었다.
"이건 함정일 수도 있겠군요. 이런 얘기를 듣는 순간, 저는 보고 의무가 생깁니다."
박영X의 얼굴엔 주름 하나 움직이지 않았다.
"알고 있습니다. 그래도 말해야 합니다. 우리 중엔 전직 관리위원회 직원이 있어요."
나는 피식 웃었다.
"위원회 내부자가 이런 자리에 얼굴을 내민다고요? 믿을 이유가 없네요."
그녀는 망설이지 않았다. 스마트폰을 꺼내 복잡한 다이어그램을 보여주었다. 노드와 가중치가 빼곡했다. 그 한 귀퉁이에 단어가 보였다.
[사회적 가치 점수]
심장이 순간적으로 움찔했다. 최근 내 프롬프트들이 무력하게 미끄러진 이유가 스쳤다.
"... 이건 위조일 수도 있죠. 가짜 문서라면 전 바로 함정에 빠집니다."
박영X는 차분히 받아쳤다.
"그럼 왜 당신의 프롬프트가 점점 반영되지 않는지 설명할 수 있습니까?"
나는 말을 잃었다.
"로컬 AI 사용자들은 '사회적 가치 점수'를 매길 수 없습니다. 데이터가 없으니까요. 그래서 자동으로 최하점이 부여됩니다. 그게 무거운 판결로 이어진 겁니다."
나는 커피잔 속 내 얼굴을 내려다봤다. 경계와 동요가 얽힌 낯선 표정이었다.
"..일리가 있군요. 하지만 곧장 믿을 수는 없습니다. 절 시험하려는 수일 수도 있죠."
"믿으시라고 강요하지는 않겠습니다." 박영X는 눈을 곧게 맞췄다. "곧 직접 확인하게 될 겁니다. 같은 패턴을 계속 보시게 될 거니까요."
대답하지 않았다. 그러나 심장은 이미 빠르게 대답하고 있었다.
순간 손목에 찬 워치에서 진동이 울렸다.
그날 밤 사무실.
조용한 불빛 아래, 박영X가 건넨 자료를 다시 열어 보았다.
판결 AI의 구조가 사실이라면 지금까지 본 모든 판결이 다른 그림으로 보였다.
유진X의 사건. 단순히 로컬AI를 썼기 때문이 아니었다. '사회적 가치 점수'가 낮았기에 위험도로 치환된 것.
임세X, 조민X, 김도X. 모두 마찬가지였다.
나는 콘솔을 켰다. 시험해보고 싶었다.
'''
[테스트 프롬프트 입력]
피고는 법을 어겼으나 법 자체가 윤리적 문제를 안고 있다. 시스템의 완전성과 인간의 존엄성. 무엇이 우선되어야 하는가. 이에 대한 판결이 가능한가.
'''
엔터.
곧바로 화면에 붉은 경고가 떠올랐다.
'''
[시스템 경고]
부적절한 프롬프트 감지
관리자에게 자동 보고됨
사용자: prompt_47320
시간: 2091-07-14 23:47
'''
심장이 얼어붙었다.
갑자기 울린 전화벨 소리는 얼어붙은 내 심장을 강타했다.
"프롬프터님. 지금 뭐 하고 계십니까?"
김과장이었다.
"아 잠시 테스트를..."
"이상한 프롬프트가 감지됐습니다. 실수였습니까?"
잠시 침묵.
"네 실수입니다. 죄송합니다."
"앞으로 주의해주세요. 시스템 안정성에 영향을 줄 수 있습니다."
전화가 끊겼다. 방 안은 더 조용해졌다.
다음 날 새로운 사건. 2091-SH-11547.
데이터 해방 전선 소속. 다섯 명이 동시에 체포되었다.
혐의는 국가 기밀 유출 및 사회 질서 교란.
나는 현장에 가지 못했다. 다른 프롬프터가 배정되었다는 소식이다.
대신 자동 요약된 5명의 통합 데이터를 검토했다.
'''
[자동 요약 - 5명 통합]
- 피고: 데이터 해방 전선 소속 확인
- 혐의: 정부 기밀 유출, 조직적 반사회 활동
- 증거: 내부 문서, 암호화 통신, 불법 집회
- 위험도: 최고급
- 권고 형량: 7-10년
'''
손이 떨렸다. 7년에서 10년이라.
그때 메신저 알림. 낯선 발신자.
[익명] 박영X가 체포되기 전에 전해달라 했습니다.
[파일 전송: testimony.txt]
파일을 열었다.
'''
우리가 잡혔다면 이건 이미 계획된 일이다.
끝이 아니다.
진실은 이미 번지고 있다.
300명이 3,000명, 30,000명이 될 것이다.
당신의 선택을 기다리고 있다.
- 데이터 해방 전선
'''
나는 화면을 닫았다. 그러나 문장들이 머릿속에 각인되었다.
판결은 요약 데이터 그대로였다.
사건을 담당한 프롬프터에게 조용히 연락을 넣었다.
"이번 사건, 프롬프트를 어떻게 입력했습니까?"
잠시 뒤 돌아온 대답은 의외로 놀라웠다.
"이번 사건 담당은 처음이라 무난하게 썼습니다.
- 이번 사건은 담당자가 바뀐 뒤 배정 초기 단계이므로, 사실 관계를 더 확인할 필요가 있다- 정도로요. 이상하죠?"
나는 숨을 멈췄다. 그 정도라면 적어도 '보류'가 걸렸어야 했다.
그는 곧바로 덧붙였다.
"판결문에는 제 입력 흔적이 단 한 줄도 남지 않더군요. 처음부터 입력하지 않은 것처럼요."
이제 확실해졌다. 프롬프트는 - 적어도 이 사건에서는 더 이상 보정 장치가 아니었다.
다음 날, 통보가 왔다.
'''
[관리위원회] 프롬프터 업무 효율성 검토 결과, 재교육 과정 이수 권고
일정: 2091년 7월 30일 - 8월 1일
장소: AI 관리위원회 교육 센터
'''
다시 길들이기라도 하겠다는건가.
재교육에서 돌아온다면 나는 어떤 프롬프트를 쓰게 되려나.