이전 제1조. 직인(職人)
1999년.
영국 우체국.
"조, 오늘 잔액이 안 맞아."
"응? 분명히 맞춰뒀는데..."
조 해밀턴.
40대 중반. 우체국 지점장.
20년간 성실하게 일했다.
컴퓨터 화면을 다시 봤다.
잔액 부족: -3,000파운드
"이상한데. 다시 세어봐야겠어."
다음 날. -5,000파운드.
조는 본사에 전화했다.
"여보세요, 호라이즌 시스템에 오류가 있는 것 같은데요."
"시스템은 정확합니다, 해밀턴 씨. 당신이 잘못 계산한 겁니다."
"아니, 저는 분명히..."
"부족액을 채워 넣으세요."
조는 자기 돈으로 메웠다.
3,000파운드. 5,000파운드.
몇 달 후.
-25,000파운드.
"이건 말이 안 돼..."
"해밀턴 씨, 횡령 혐의로 고소하겠습니다."
"저는 훔치지 않았어요! 시스템이 잘못됐다고요!"
2010년. 법정.
"호라이즌 시스템이 틀렸다는 증거가 있습니까?"
"저... 시스템 안을 볼 수가 없어서..."
"증거가 없군요."
유죄. 투옥.
조 해밀턴만이 아니었다.
영국 전역 700명 이상.
같은 대화. 같은 결말.
"시스템이 잘못됐어요!"
"호라이즌은 정확합니다."
2020년.
한 변호사가 물었다.
"정말 700명 모두가 도둑이었을까요?"
조사 결과.
후지쯔가 개발한 호라이즌 시스템.
심각한 소프트웨어 결함.
존재하지 않는 적자를 만들어냈다.
20년 동안.
"무죄입니다."
하지만 그는 이미 모든 것을 잃었다.
포스트 오피스 본부.
"우리는 시스템을 믿었을 뿐입니다."
내부 문서가 드러났다.
2000년대 초반.
"시스템에 결함이 있습니다."
"무시하세요. 시스템은 정확합니다."
大抵用人 必擇賢
대저용인 필택현
"무릇 사람을 쓸 때는
반드시 어진 이를 가려서 뽑아야 한다."
직인(職人).
직책을 맡기는 것.
누구에게 백성의 장부를 맡길 것인가.
잘못 뽑으면 백성이 죽는다.
一用奸猾 殃流一鄕
일용간활 앙류일향
"한 번 간사하고 교활한 자를 등용하면,
그 재앙이 온 고을에 흐르게 된다."
AI 시대의 직인.
포스트 오피스는
가장 중요한 직무에
검증되지 않은 시스템을 임명했다.
회계. 감사. 증거.
시스템은 간활했다.
정확하다는 이름으로 거짓말했다.
AI 목민관의 실패.
결함 가능성을 무시했다.
내부 경고를 묵살했다.
시스템을 인간보다 믿었다.
결과.
700명의 삶.
파산. 투옥. 자살.
어진 시스템을 가려 뽑는 법.
검증.
경고를 듣는 것.
맹신하지 않는 것.
포스트 오피스는
확인하지 않았다.
의심하지 않았다.
2024년.
조 해밀턴, 완전 무죄.
25년이 걸렸다.
정약용은 AI 목민관에게 묻는다.
"그대는
검증되지 않은 시스템에
백성의 목숨을 맡기는가?"
[내일 계속]
알고리즘이 훔친 생존비.
공고(供公)