질주의 역사 - 4
4/ 화차는 달려온다
“화차(Trolly)는 선로를 따라 달려오고 있고, 선로에는 다섯 사람이 있다. 당신은 선로변환기를 당겨서 다섯 사람을 구할 수 있지만 그렇게 하면 다른 선로에 있는 한 사람이 죽게 된다. 선로변환기를 당기는 행위는 도덕적으로 허용될 수 있는가?”
그 유명한 트롤리 딜레마: 한참 편집증 환자같이 광대뼈가 툭 삐져나와 있는, 김학주 팀장은 이 문제를 이렇게 바꿔 묻곤 한다.
“알파가 운전자 1명을 희생하여 5명을 살릴 수 있다면 그렇게 해야 하는가.”
계율의 연구자들은 이 질문이 계율의 핵심적 내용이 될 것이라는 걸 직감한다.
이 질문의 답에 따라 알파 OS는 앞으로 발생할 수많은 법률적, 윤리적 한계상황에서 선택할 것이다. 그 선택으로 사망자의 명단이 바뀌게 되는 것이다.
윤리학자들은 수세기 동안 트롤리 딜레마라는 윤리학의 사고 실험 속에서 논쟁을 해왔다. 공리주의자들은 5명의 목숨이 1명보다 가치가 많기 때문에 선로변환기를 당겨야 한다고 주장한다; 의무론자는 누군가의 목숨을 다른 목적으로 사용하여서는 안된다며 반론한다. 철학적 논쟁의 특징이자 매력: 결국 아무런 확정적 답도 도출되지 않는다: 해답이 나오는 순간 그것은 더 이상 철학의 주제라 할 수 없다. 대부분 철학과를 전공한 연구자들이 양심에 따라 진실을 말할 수 있다면(만일 그런 제도가 지상에 존재한다면): 이 딜레마에 대해서는 ‘답이 없다’라고 말해야 한다.
회사는 그들에게 해답을 요구했다. 그것이 회사가 그들에게 거액의 연봉을 지급하는 이유다. 답이 없다는 것은 답이 아니다: 경영자의 관점에서는, 아무리 불가능해 보이는 딜레마라도 충분한 예산이 집행된다면 그 해답을 구할 수 있다.
경영진의 입장에서는 이 딜레마에 대한 철학자 진리까지 기대할 수 없다고 하더라도 달리 갈 곳 없는 인문학도들을 고용함으로써 2가지 효과는 기대할 수 있다.
첫째, 회사가 이른바 "윤리"를 신경 쓴다는 이미지.
둘째, 회사가 최선의 윤리를 위해 최선의 노력을 다했다는 물증.
물론 머리 좋은 연구자들도 이 말도 안 되는 미션의 정답을 알고 있었다.
철학적 딜레마에 대한 해결은 영원히 불가능하다: 아킬레스와 거북이의 경주처럼. 그러나 회사가 내준 퀴즈는 철학적 진리에 관한 것이 아니다.
운전자를 희생하는 차량을 구매할 소비자는 아무도 없다. 국가가 모든 차량의 자율주행 OS에 대해 1명을 희생하는 알고리즘을 강제하지 않는 한(그리고 그건 자율주행 차량 시장의 종말을 의미할 것이다), 판매를 목적으로 하는 공산품인 차량은 언제나 길을 건너는 5명을 희생해야 한다.
회사가 원하는 것은, 5명을 희생하는 결론에 이르기까지의 합리적, 논리적 설명이다. 계율의 이 부분은 처음부터 적혀있는 것이나 마찬가지였다. 윤리학자들의 과업은 이 계율의 주석을 작성하는 일이다. 이 계율을 정당화하는 것이고, 언론사 기자들 출신인 홍보팀의 업무는 그렇게 도출된 정당화 과정을 이해하기 쉽게 대중을 설득하는 것이었다.
그들이 똘똘 뭉쳐 이 사회의 법, 문화, 인식을 변혁(왜곡)시켜야 한다.
그들이 받은 만큼 일을 한다. 그들은 윤리적이니깐.
윤리학자들이 작성한 “계율에 대한 해석서(1차)"에는 수만 개에 이르는 각주들과 참고문헌 목록이 깨알 같은 글자로 적혀있었다. 영국의 저명한 철학자는 이 ‘1차 보고서 초안을 “역사상 가장 많은 비용이 투입된 철학 논문”이라고 평가했다.
수많은 사고 실험들, 역사적 사건들, 예시들, 철학자의 이름들, 논리적 공격과 방어들, 논리적 정합성에 대한 검사들, 비판과 반증, 논증들, 원칙들, 학설들, 비유들, 요약들, 해석들, 해석들에 대한 해석들과 이에 대한 비유와 요약들....(여기서 결여하고 있는 것은 실제 사례뿐이다) 이들이 2,000페이지에 이르는 방대한 보고서를 장식했다.
비용은 헛된 것이 아니었다. 보고서는 실로 논박하는 것이 불가능할 정도로 정합한 것이며, 그 많은 글자들 속에서 오자라고는 하나도 찾아볼 수 없었다. 하지만 이 프로젝트를 이끌었던 김학주는 점점 깊은 불면에 빠져들었다.
"... 이런다고 될까? 이걸로 될까?" 105층 화장실에서는 이런 중얼거림이 들리곤 했다.
해석서가 작성될 동안 프로그래머들이 개발을 중단하고 놀고 있을 수만은 없는 노릇이다(아니면 이들이 월급 받을 명분이 없어진다). 가우재 연구원은 프로그래머들로 하여금 윤리학자들이 낼 수 있는 모든 결론에 대비한 여러 버전의 알파 OS를 만들도록 지시한다: 알파 OS는 자가수정 프로그램이므로, 그녀가 지시한 것은 실제로는 여러 버전의 계율들에 따른 알파 OS라는 씨앗을 떨어뜨린 것에 가깝지만: 각기 다른 정도의 윤리성을 갖은 버전의 알파 OS를 유도한 것이다.
아무튼 이렇게 자라난 알파들이 “착한 알파”와 “나쁜 알파”라는 애칭이 붙는 데에는 많은 시간이 걸리지 않았다. 프로그래머들이 이 알파 OS의 여섯 번째 버전을 완성하고 있을 때 윤리학자들은 해석서의 서론을 쓰고 있었다. 능률 좋은 프로그래머들은 버전을 업데이트하고 디버깅을 마치고 몽상과 실험용 도로에서 착한 알파와 나쁜 알파에 대한 주행 시뮬레이션을 시작했을 때 윤리학자들은 참고문헌 목록을 정리하고 있었다.
시뮬레이션이나 시험 주행을 진행할 때마다 알파의 윤리성을 조정하는 것은 점점 번거로운 일이 되었다.
순전히 업무상 편의를 위해, 당시 차석 프로그래머였던 손시정은 레버 하나를 운전대 아래에 설치했다. 이 “윤리 레버”를 왼쪽으로 돌리면 착한 알파가 되도록 하였고, 오른쪽으로 돌리면 나쁜 알파가 되도록 설정한 것이다.
그걸 보던 김학주가 중얼거린다: "잠깐, 이거면 되는 거 아냐?"
이미 '질문'에 매달리느라 며칠째 잠을 설친 김학주가 멍하니 레버를 보고 있는다.
사실 그거면 됐다. 윤리 레버의 설치로 탑승자는 알파로 하여금 자신의 신념에 따라 주행되도록 할 수 있다. 1명을 죽이든 5명을 죽이든 자기가 죽든 이는 탑승자의 선택에 의한 것이기 때문에 알파 OS는 윤리적으로 완전히 자유로웠다. 사실상 모든 문제가 해결된 것이다. 회사는 5명을 죽이는 공산품을 판매하면서도 윤리적으로 자유로울 수 있었다. 단지 이 선택권을 소비자에게 주었다는 이유만으로.
윤리팀은 알파 OS의 윤리성을 다섯 단계로 조정했고, 계율은 다섯 개의 상황을 가정한 조항들이 자라난다.
가우재는 가장 이타적인 '착한 알파'를 유도하면서 생각한다: 공도상에서 이 녀석이 한 번이라도 쓰이게 될까? 타인의 무사함을 위해 자신을 희생하는 선택을 하는 운전자가 있기나 할까? 이 중 실제로 유의미한 것은 가장 '나쁜 알파' 뿐이다. 나머지는 그저 그 녀석을 정당화하는데 필요한 장식 같은 것이다.
-
“이렇게 ‘윤리 레버’의 발명으로 인해서 인간의 운명은 기계의 연산으로부터 해방될 수 있었던 것이죠….”
토크쇼에 게스트로 나온 손시정이 자신의 업적을 거들먹거리면서 말했다. 패널들의 감탄한 표정은 덤.
-
알파 OS가 아니라도 자동적 연산이 인간의 운명을 결정하는 일은 늘 있던 일이다.
김학모가 영월지원에 접수한 엉터리 소장에는, 법원의 사건배정 프로그램에 의해 “2030 가단 1245호”라는 사건번호가 부여된 후, 민사 4 단독 명예원 판사에게 배당된다.
34세, 법조경력 5년 차, 처음으로 민사단독을 담당하게 된, 영월지원의 소문난 ‘명’ 판사, 명예원 판사의 책상 위로 올려졌다.
그녀를 수식하는 단어: 엘리트
변호사 시험 수석합격에 판사 교육과정까지 수석을 마치고, 서울 중앙 지방법원으로 첫 임기를 시작한 엘리트 코스. 이른바 ‘성골 중의 성골’.
그러나 그녀는 교만하지 않는다: 그녀는 자신에게 주어진 명성에서 의무감을 느낀다. 거기에 어울리는 사람이 되고자 매일 같이 노력한다. 그녀는 그 의무를 수행하는데 가장 효과적인 방법을 알고 있다: 의식을 치르는 것. 일정한 루틴을 만들고 그걸 유지하는 것.
그래서 그녀는 매일 아침 책상에 앉아 그녀가 정한 박자(60 BPM) 숨을 고른다. 어깨까지 내려오는 머리를 다시 한번 깔끔하게 묶는다. 마른걸레로 책상을 먼지 한 톨없이 깨끗이 정리한다(이미 청소담당이 닦았지만). 책장에는 분야별로, 가나다순으로 정리된 책들이 가지런히 서있는 걸 확인한다(그걸 뽑아보진 않지만). 완전한 대칭구조로 배치된 판사실의 가구를 살핀다. 컴퓨터를 켜고, 암호를 입력한다. 정갈하고, 차분하게: 그녀는 특히나 오타에 민감하다.
판사는 마구잡이로 던져 놓는 당사자들의 주장들 속에서 나름의 논리성을 파악하여 정리해야 한다. 논리성이란 거울에 비추어 진실을 들춰내야 한다. 물론 대부분 사건은 지저분하고, 많은 경우 어떠한 논리성도 찾아볼 수는 없다. 사건은 대부분 불쾌하다: 그걸 분절하고 분리하고, 정리해야 한다. 그녀는 메모를 적는다: 때로는 거의 기록만큼 두꺼운 기록. 그렇게 분절해서 만들어낸 사건은 실제 사건은 아니다: 그것은 법률적 판단에 적합한 사건이 된다. 그걸 당사자에게 설득하는 것은 다른 문제지만. 그리고 그녀는 판결한다: 공손하고 중립적으로. 그녀가 가진 공정성의 이념을 최대한 끌어올린다.
그래서 판결문은 누락된 부분 없이 언제나 정갈하고, 사소한 오자 하나 없다(그녀 스스로 오자를 싫어하기도 하지만). 그녀는 자신을 분류하는 기계라고 생각하길 좋아한다: 난잡하게 떨어지면 그걸 정해진 규칙에 따라 정리하고 걷어내는 것이다. 그것이 가장 옮은 길이라고 믿어 의심하지 않는다: 가능한 객관적인 방법으로, 객관적인 인식을 통해, 객관적인 판단을 내리는 것.
그러니 누구든 영월지원에서 재판을 하게 된다면 명예원 판사에게 재판을 받기 원했을 것이다. 하지만 김학모가 제기한 소송이 명예원에게 배당된 것은 순전한 법원 사건 배당 프로그램의 결정이었을 뿐, 그녀의 능력, 품성, 평판과는 무관했다. 영월지원에는 4명의 단독판사가 근무했다: 그녀에게 배당될 확률은 25%.
명예원 판사는 이 서사시에 가까운 소장을 3번째 읽어보았다.
“일단 돈을 달라는 건가?”
일단 ‘소장’이라는 제목은 있었지만 ‘청구취지’, 즉 재판을 통해서 청구하는 내용이 빠져있다. 이쯤 되면 ‘피고’가 누구인지 특정이 되지 않았다는 건 부차적인 문제에 불과하다.
명예원 판사는 분류를 시작한다: 형제가 쌍둥이임에도 성격적 차이가 있다는 걸 보여주는 어릴 적 일화가 적혀 있다(소장 여기저기에). 형제가 즐겁게 개구리를 잡는 에피소드가 나온다(이 대목에서는 성격적 차이가 없어 보인다). 회사 특정 임원에 대한 비난(못생겼다는), 법원이 얼마나 신뢰할 수 없는 기관인지에 대한 성토(하지만 ‘존경하는 재판장’이라고 호소하고 있다), 신령의 존재에 대한 강력한 믿음(이 내용이 가장 많다), 형에 대한 원망(형의 이름은 안 나와있지만), 재밌게 보았던 어떤 SF 드라마에 대한 줄거리와 평가(스포일러 포함), 본인의 수감 시절에 대한 회상(인생 대부분), 철학원에 대한 홍보(특별 할인 포함).
명예원 판사는 헌법적 소임에 따라 원고 김학모에게 소장을 수정하라는 보정명령들을 내린다: 피고를 특정해주시길 바랍니다. 청구취지와 청구원인을 기재해주시길 바랍니다. 소외 김학주, 김민주와 원고의 관계를 소명해주시길 바랍니다.
이 보정명령들에 숨겨진 진정한 메시지: “제발 변호사를 쓰세요.”
김학모는 숨겨진 메시지를 애써 무시하고 부지런한 인터넷 검색과 무료 법률 상담들을 통해 소장을 조금씩 고쳐나갔다. 그렇게 4달 정도의 핑퐁게임이 이어지고 나서야, 김학모가 ‘회사’를 상대로 소송을 제기했다는 점, 그 이유는 김민주가 회사가 만든 알파 OS로 인해 사망하였기 때문이라는 점 정도는 정리되었다. 청구금액도 정리됐다: 49억. 어떻게 나온 숫자인지는 알 수 없는 노릇이지만.
아무리 기계 같은 명예원 판사라도 이 끈질긴 스무고개에 지치지 않을 수 없었다. 하지만 그것도 끝이다: 명예원 판사는 마침내 소장을 회사에게 발송한다.
-
소장은 이틀 후에 회사의 법무팀 2년 차 고인겸 변호사의 책상 위로 올려졌다.
곱슬머리의 뿔테 안경, 구겨진 셔츠로 회사 내에 잘 알려진 고인겸 변호사에게 사건이 배당된 것은 기계의 연산에 의한 것은 아니었다. 그것은 회사가 추구하는 ‘적절한 인력자원의 분배’에 따른 결과였다.
당시 회사는 수백 건에 이르는 송사에 시달리고 있었다. 회사야 늘 송사에 시달리기 마련이지만... 그 무렵에는 특히나 엉뚱한 소송들에 시달리고 있었다.
김민주 사건이 발생하고 나서 SNS상에는 알파 OS가 결국 인공지능으로 진화해서 세상을 파괴할 수도 있으니 이를 사전에 막아야 한다는 괴소문이 돌기 시작했다. 그리고 이 괴소문을 믿는 사람들 중에는 정말로 변호사를 선임할 정도로 열정이 있는 사람들이 있었고, 정말 그런 사람들로부터 사건을 맡을 정도로 간절한 변호사들도 있었다. (고인겸은 내심 자신은 그들과 다르다고 생각하면서 우쭐하고 있었다)
그래서 이들은 꾸준하게, 반복적으로, 그럼에도 열정적으로 알파 OS의 폐기를 청구하는 소송을 제기하고 있었다. 그들은 하나같이 김민주 사망사건을 인공지능에 의한 최초의 살인사건이라고 주장했다. 회사의 법무팀장은 이런 사건들에 이른바 “세계 멸망 예방 사건”이라는 태그를 붙여서 분류했는데, 이 사건들은 회사의 업무분장에 정책에 따라 철학과 출신 고인겸 변호사에게 배당되었다. 철학과를 나온 것이 이렇게 큰 업보가 될 줄이야.
김학모가 제출한 이 사서 시에도 ‘김민주’라든가 ‘인공지능’이 라든가, ‘살인’이라든가 하는 키워드가 충분히 들어가 있었으니 김학모 사건이 세계 멸망 예방 사건으로 분류된 것은 결코 우연이 아니었다.
“나는 인공지능으로부터 세상을 지키려는 민중들로부터 회사를 지키는 임무를 부여받았다.”
고인겸은 잔뜩 찌푸려진 자신의 미간에 중간 손가락을 얹고 고민하는 모습을 찍어서 SNS에 올리곤 했다. 동그란 얼굴 때문에 어딘지 코믹해 보이긴 했지만 포스트에는 “멋지다!” “부럽다!” 따위의 댓글들이 달리고는 했다. 거대기업의 번듯한 사내변호사로 일하는 모습이 동기들과 친구들의 부러움을 산 것이다. 변호사 업계에서도 청년실업은 심각한 문제였다.
그게 바로 사무실 구석에서 말도 안 되는 사건들만 하고 있던 고인겸 변호사가 바탕화면에 작성해 놓은 사직서를 아직 전송하지 않았던 유일한 이유였다. 왠지 모르지만 댓글을 보고 기분이 조금 좋아진 고인겸 변호사는 소매를 걷어붙였다.
소장은 명예원 판사의 보정명령에 따라 수정된 후에도 여전히 난해했다.
하지만 대부분 인류멸망 예방 사건들은 이런 식이다. 불필요하게 난해하고, 불필요하게 장황하다: 심지어 소송 자체도 불필요하다. 그리고 이런 소장을 읽을 때마다 내심 자기 신세를 한탄하게 되는 건 어쩔 수 없는 일이었다.
연봉이 아닌 성취감의 문제. 자존감의 문제.
나름 좋은 대학, 나름 좋은 로스쿨, 나름 좋은 성적으로 나름 좋은 회사에 들어와 하는 일이 이런 것이라니. 회사에 들어오면 특허법 분야의 대가로 성장할 수 있을 줄 알았건만 그의 주된 업무는 엉망진창인 소장에서 불필요한 부분을 볼펜으로 그어 없애는 일이다.
아무튼 일은 해야 한다. 업무에 이력이 난 고인겸 변호사는 울적한 마음을 이겨내면서 김학모의 소장을 정리해 나갔다. 그는 소장 중에 특히 SF영화에 대한 리뷰 부분은 마음에 들어했지만… 아무튼 주된 줄거리는 아니다. 70페이지짜리 소장은 볼펜으로 지운 결과 1페이지 정도로 정리될 수 있었다.
소장을 다시 한번 읽은 고인겸은 기분이 상당히 좋아졌다.
사건의 중요성이 보였다. 들뜬 고인겸 변호사는 SNS에 한바탕 호들갑을 떨고, 자신의 출세길을 열어줄 사건이 왔다고 남몰래 자축한다.
고인겸은 정말로 소매를 걷어붙였다. 고인겸은 모든 업무를 제쳐두고, 모든 열과 성을 다해, 며칠간의 철야 끝에 김학모 사건에 대한 정교하고 설득력 있는 답변서를 완성하였다.
그는 어째서 이 비극적인 사건의 본질적인 원인이 알파 OS가 아닌 망인인 김학주와 김민주 부녀에게 있는지 논증하였다. 알파 OS가 얼마나 완전무결한 존재인지, 회사가 알파 OS의 무결성을 위해, 그 윤리성을 확보하기 위해 얼마나 최선을 다하였는지 논증했다. 그는 인류가 트롤리 딜레마를 해결했다고 선언하기에 이르렀다. 그는 계율을 들먹이며, 계율의 위대함을 칭송한다:
“… 그럼에도 비극이 발생하였던 것은 ‘기계 연산의 한계’가 아닌 결국 계율을 위반하고만 ‘인간의 한계’때문이라고 하겠습니다. 신들의 장난에 대한 법률적 책임을 인간에게 물을 수 없듯이, 인간의 장난에 대한 책임을 기계에게 물을 수는 없습니다.”
고인겸은 신문 일면에 자신의 이름과 사진이 나오는 모습을 상상했다. 미래 비전을 법정에 제시한 고인겸 변호사, 인공지능 시대에 대한 역사서는 그의 이름을 한 꼭지로 다루겠지. 어쩌면 AI법이라는 분야가 생기고, 그가 바로 그 분야의 최고 권위자가 될지도 모른다. 그의 인터뷰가 뉴스 첫 꼭지로 나올지도 모른다…
그게 계기가 되어 정치권에 입문… 누가 아는가, 결국 그가 이 나라의 일인자, 대통령이 될지!
-
그의 예상과 달리 고인겸은 이 일로 해고 통보를 받는다. 김학모 사건을 보고하지 않았다는 이유다.
