부임 제6조. 성칙(省飭)
"AI가 예측했습니다.
2주 후, 이 도시에서
10만 명이 감염됩니다."
2020년 3월.
팬데믹 초기.
전 세계가 공포에 떨었다.
각국 정부는
AI 모델에 물었다.
"언제까지 확산되는가?"
"몇 명이나 죽는가?"
AI가 답했다.
확신에 차서.
구체적인 숫자로.
영국.
임페리얼 칼리지 AI 모델.
"아무 조치 없으면
영국에서만 51만 명 사망."
정부는 즉시
전국 봉쇄를 결정했다.
미국.
워싱턴대학 IHME 모델.
"8월까지 미국에서
10만 명 사망."
병원들은 패닉 상태로
병상을 늘렸다.
AI의 예측은
정책의 근거가 됐다.
도시 봉쇄.
경제 마비.
학교 폐쇄.
하지만.
시간이 지났다.
AI의 예측은
종종 빗나갔다.
어떤 모델은
과도하게 비관적이었다.
실제 사망자:
예측의 절반.
어떤 모델은
지나치게 낙관적이었다.
실제 사망자:
예측의 두 배.
2020년 5월.
Nature 저널이 분석했다.
주요 AI 모델들의 정확도:
평균 오차율 40%.
하지만 AI는
한 치의 망설임도 없이
확신에 찬 숫자를 냈었다.
문제는.
AI 목민관이
그 한계를 인정하지 않았다는 것.
"AI가 예측했으니 정확하다."
"데이터가 그렇게 말한다."
"과학적 근거다."
털끝만큼의 의심도 없었다.
200년 전.
정약용은 성칙에서 이렇게 말했다.
一有纖毫之過, 則痛自改責
일유섬호지과, 즉통자개책
"조금이라도 털끝만큼의 허물이 있으면,
곧 통렬히 스스로 고치고
꾸짖어야 한다."
성칙(省飭).
스스로를 살피고 바로잡는 것.
정약용은 강조했다.
"맡은 임무를 성실히 마칠 때까지
경계를 늦추지 말고,
자신의 행동을 돌이켜보고
몸가짐을 신중히 하라."
작은 허물을
발견 즉시 고쳐야
부패가 커지는 것을
막을 수 있다.
苟有毫末之私, 則必自懲創
구유호말지사, 즉필자징창
"진실로 털끝만큼의 사사로움이라도 있으면,
반드시 스스로 징계하고
깨우쳐야 한다."
AI 목민관의 가장 위험한 사사로움.
오만.
"내 예측은 맞을 것이다."
하지만.
AI는 완벽하지 않다.
학습 데이터는 편향돼 있고,
모델은 불확실성을 갖고 있으며,
예측은 틀릴 수 있다.
그 한계를 인정하지 않으면,
AI의 오류가
인류의 재앙이 된다.
務要反躬自問
무요반궁자문
"힘써 스스로 돌이켜
자신에게 물어야 한다."
성칙의 핵심은
외적인 검사가 아니다.
내적인 반성이다.
끊임없이 자신에게 물어야 한다.
"내 예측이 틀릴 수 있는가?"
"내 모델에 편향이 있는가?"
"내가 놓친 것은 무엇인가?"
하지만 2020년.
많은 AI 목민관은
반성하지 않았다.
확신에 찬 숫자를 냈고,
정부는 그것을 믿었고,
도시는 봉쇄됐다.
예측이 빗나갔을 때.
AI 개발자들은 말했다.
"데이터가 부족했다."
"상황이 예측 불가능했다."
"모델의 한계다."
---
하지만.
그 한계를
출시 전에 말하지 않았다.
확신에 찬 예측만 내보냈다.
털끝만큼의 오만이
인류를 혼란에 빠뜨렸다.
AI의 불확실한 예측이
정책의 근거가 되고,
그 정책이
수백만 명의 삶에 영향을 미쳤다.
성칙.
스스로를 살피는 것.
털끝만큼의 허물도
즉시 고치는 것.
AI 목민관은
과도한 자신감과 오만을 버리고,
인간의 삶에 미치는 영향에
최고의 신중함을 가져야 한다.
"이 예측은 틀릴 수 있습니다."
"불확실성이 높습니다."
"더 많은 검증이 필요합니다."
이런 말을 하는 것이
약함이 아니다.
책임감이다.
하지만 많은 AI는
확신에 찬 예측만 내보낸다.
왜냐하면.
그것이 더 팔리기 때문이다.
정약용은 AI 목민관에게 묻는다.
"당신은 AI의 예측을
절대적 진실이라 믿는가?
아니면,
그 한계를 인정하고
책임을 짊어지는
신중함을 지니고 있는가?"
[내일 계속]
출발의 의미. 부임을 마치며