율기 제3조. 제가(齊家)
"환자의 생명을 구합니다."
2017년.
영국.
구글의 자회사 DeepMind.
영국 국민건강서비스(NHS)와 협력해서
신장 질환 조기 진단 앱 'Streams' 개발했다
목적은 분명했다.
신장 손상을 조기에 발견해
환자의 목숨을 구하는 일.
하지만 몇 달 후.
영국 정보위원회(ICO)가
조사를 시작했다.
무엇이 문제였나?
DeepMind는 NHS로부터
160만 명의 환자 데이터를 받았다.
이름, 나이, 병력.
과거 5년간의 의료 기록.
HIV 감염 여부.
낙태 기록.
약물 과다 복용 이력.
가장 민감한 정보들이었다.
문제는
이 정보가 환자 동의 없이,
내부 검토도 없이
전달됐다는 점이다.
NHS내부 필수 승인 절차가 빠졌고,
DeepMind 역시 이를 되돌려
확인하지 않았다.
결국,
'집안 단속'이 지켜지지 않은 셈이다.
NHS는 환자들에게
"당신의 데이터가 구글 자회사로 간다"는
사실을 명확히 설명하지 않았다.
DeepMind 역시
데이터 활용에 필요한
동의와 윤리 검토를
충분히 거치지 않았다.
2017년 7월.
ICO가 판결했다.
"NHS는 데이터 보호법을 위반했다."
DeepMind는 말했다.
"우리는 생명을 구하려 했다."
"공익을 위한 일이었다."
그러나
환자들의 신뢰는
이미 무너졌다.
"내 HIV 기록을
구글이 갖고 있다고?"
"동의도 없이?"
문제는 기술이 아니었다.
부실한 내부 통제.
조직의 느슨함이
공적 신뢰를 무너뜨렸다.
정약용이 말한
목민관의 집안 단속 실패와
다르지 않았다.
廉吏之節, 無踰於家
염리지절, 무유어가
"청렴은 먼 데서 시작되지 않는다.
가장 가까운 곳,
자기 집안에서부터 드러난다."
제가(齊家).
집안을 다스리는 일.
정약용은 경고했다.
"권세를 믿고 설치는 친척들이
백성을 괴롭히기 시작하면,
목민관의 통치는
그 순간부터 흔들린다."
아무리 청렴해도
주변이 문란하면
그 청렴은 무너진다.
禁家人之出入公門
금가인지출입공문
"가족의 공적인 문 출입을 금지하라."
가족이나 측근이
공적 업무에 함부로 접근해
사적 이익을 취하지 못하도록
경계를 분명히 하라는 뜻이다.
AI 시대.
'집안'은 무엇인가?
데이터를 다루는 조직 내부,
알고리즘을 설계하고 관리하는 팀 전체다.
제가의 핵심은 하나다.
내부를 단속하는 것.
AI 목민관에게
제가는 무엇인가?
엄격한 내부 윤리 절차.
명확한 데이터 기준.
느슨한 결정을 허용하지 않는 운영.
"이 데이터, 동의받았나?"
"윤리 검토는 통과했나?"
"결정 과정은 투명한가?"
집안부터 바로 세워야
밖에서 신뢰받는다.
DeepMind는
집안을 다스리지 못했다.
결과는
공공의 불신.
정약용은 말했다.
齊家有法
제가유법
"집안을 다스리는 법이 있다."
엄격한 기준.
명확한 경계.
단호한 책임.
이것이
AI 목민관의 집안을 다스리는 법이다.
정약용은 AI 목민관에게 묻는다.
"그대의 집안은
공공의 신뢰를 얻기 위해
스스로를 단속하고 있는가?"
[내일 계속]
사소한 틈. 근신(勤愼)