08
규칙으로 환원된 도덕
2018년, 구글은 AI 원칙을 발표했다. 편향 방지, 투명성 확보, 프라이버시 보호.
그 이후 수백 편의 연구 논문과 가이드라인이 쏟아져 나왔다. 개발자들은 각 항목에 체크하며 자신들의 AI가 윤리적이라고 주장했다.
같은 시기, 자율주행차 연구자들은 '트롤리 딜레마'를 알고리즘에 입력하려 시도했다.
피할 수 없는 사고 상황에서 누구를 우선 보호할 것인가. 보행자인가 탑승자인가.
젊은이인가 노인인가. 한 명인가 다섯 명인가. 공리주의, 의무론, 심지어 유교 윤리까지 다양한 도덕 이론이 알고리즘으로 번역되었다.
윤리가 체크리스트가 되었다. 도덕적 고민이 데이터 입력란으로 치환되었다. 그러나 이 정교한 시스템들이 정작 놓치고 있는 것이 있었다. 윤리는 규칙이 아니라 판단의 과정이라는 사실이다.
철학자의 오래된 시도
윤리를 수학화하려는 시도는 새로운 것이 아니다. 18-19세기 제레미 벤담은 쾌락과 고통을 계산하여 최대 다수의 최대 행복을 추구하자고 했다. 임마누엘 칸트는 모든 상황에 적용 가능한 보편적 도덕 법칙을 찾으려 했다. 그들은 윤리를 명확한 원리로 체계화하려 했다.
하지만 철학사는 그것이 불가능함을 보여주었다. 공리주의는 소수의 희생을 정당화할 위험이 있었고, 의무론은 예외 상황에서 비인간적 결과를 낳았다. 현실의 윤리적 상황은 항상 원칙만으로 해결되지 않는 복잡성을 가지고 있었다.
AI 윤리 설계자들은 수백 년 전 철학자들과 같은 작업을 하고 있다. 다만 도구가 논리에서 코드로 바뀌었을 뿐이다. 그리고 같은 한계에 부딪히고 있다.
코드화되지 않는 것들
한 의료 AI는 장기 이식 대기자 순위를 결정하도록 설계되었다. 생존 가능성, 대기 시간, 적합도 등을 계산했다. 객관적이고 공정해 보였다. 그러나 시스템이 놓친 것이 있었다.
네 살배기 아이가 있었다. 의학적 지표로는 70대 노인보다 우선순위가 낮았다. 이식 후 단기 생존율 예측이 낮았기 때문이다. 하지만 의료진은 아이를 선택했다. "숫자로는 설명할 수 없는 것"이었다. 삶의 잠재성, 가족의 절박함, 어린 생명의 의미. AI는 이것을 계산할 수 없었다.
실제로 영국에서 진행된 연구에 따르면, 69.2%의 응답자가 AI를 활용한 간 이식 배분을 수용 가능하다고 답했다. 그러나 동시에 AI 시스템이 훈련 데이터의 편향성으로 인해 인종 차별 등 기존 의료 불평등을 악화시킬 수 있다는 우려도 제기되었다. 무엇보다 AI 모델의 해석 가능성 부족으로 인해 임상의와 환자가 그 결정을 제대로 이해하기 어렵다는 근본적인 한계가 있다.
자율주행차의 트롤리 딜레마도 마찬가지다. 76%의 시민이 다수를 살리기 위해 탑승자를 희생하도록 프로그래밍하는 것이 옳다고 답했다. 공리주의적 관점에서는 합리적인 선택이었다.
그런데 같은 응답자 중 50%는 "그런 차를 사지 않겠다"라고 답했다. 자신이 옳다고 생각하는 윤리와 실제 선택이 달랐던 것이다. 그 한 명이 내 아이라면? 탑승자들은 "그래도 내 아이를 구해야 한다"라고 말했다. 숫자로는 비합리적이지만, 인간적으로는 당연했다.
윤리는 계산이 아니다. 그것은 맥락 속에서의 판단이다. 같은 행위도 상황에 따라 옳을 수도, 그를 수도 있다. 이 미묘함을 코드로 옮기는 것은 불가능하다.
가이드라인의 역설
유럽연합은 2024년 규제안을 공식 발표했다. 세계 최초의 포괄적 AI 법률 프레임워크였다. 위험도에 따라 AI를 분류하고, 각각에 대한 규제 수준을 명시했다. 수백 명의 전문가가 수년간 작업한 결과였다.
4단계의 위험 분류 체계가 만들어졌다. 수용 불가능한 위험(사회적 신용 평가, 생체 인식 감시 등), 고위험(채용, 법 집행, 의료 등), 제한적 위험(챗봇 등), 최소 위험(스팸 필터 등). 고위험 시스템에는 엄격한 투명성, 데이터 품질, 인간 감독 요건이 부과되었다.
그러나 역설이 발생했다. 기업들은 규정만 만족하면 된다고 생각하기 시작했다. 가이드라인에 없는 영역에서는 무엇을 해도 괜찮다고 여겼다. 윤리가 법적 최소 요건이 되었다. 규칙을 지키는 것이 곧 선한 것이라는 착각이 생겼다.
이제 체크리스트를 다 채우면, 더 이상 고민하지 않게 되었다. 가이드라인이 그들의 양심을 대신하고 있다.
윤리 규정은 필요하다. 하지만 그것이 윤리적 사유를 대체해서는 안 된다. 규칙은 바닥선이지 목표가 아니다. 가이드라인을 넘어서는 고민, 매뉴얼에 없는 상황에서의 판단, 그것이 진짜 윤리다.
설계자의 가치관
AI 윤리를 설계하는 사람들은 누구인가? 대부분 실리콘밸리의 공학자들이다. 그들은 효율을 중시하고, 측정 가능한 것을 선호하며, 확장 가능한 해결책을 찾는다. 이들의 가치관이 윤리 시스템에 반영된다.
LSE의 연구는 이를 실리콘밸리 접근법이라고 부른다. 많은 기술 학생들이 서구적 관점을 수용하는 단일한 윤리 교육을 받고 있다는 것이다. 비슷한 배경을 가진 사람들이 AI 시스템을 프로그래밍하고 설계하면서, 그들의 문화적 편향이 알고리즘에 스며든다.
한 연구에서 AI 윤리 가이드라인 50개를 분석했다. 대부분이 '투명성', '공정성', '책임성' 같은 추상적 원칙을 나열했다. 그러나 구체적 상황에서 어떻게 적용할지에 대한 답은 없었다. 원칙들이 충돌할 때 무엇을 우선할지도 명시되지 않았다.
더 문제는 이 가이드라인들이 특정 문화권의 가치관을 반영한다는 점이다. 개인의 자율성을 최고 가치로 두는 서구적 관점이 지배적이었다. 공동체의 조화를 중시하는 동양적 관점, 생존을 우선하는 개발도상국의 관점은 충분히 반영되지 않았다.
윤리를 설계하는 순간, 누군가의 가치관이 보편적 규칙으로 둔갑한다. 이것은 권력의 문제이기도 하다.
결정의 과정
진짜 윤리는 명령이 아니라 과정이다. 옳은 답을 아는 것이 아니라, 옳은 답을 찾아가는 것이다. 확신이 아니라 의심, 결론이 아니라 고민이다.
AI는 최선의 치료법을 제시한다. 하지만 의사는 환자와 대화한다. 그의 가치관, 가족 상황, 삶의 목표를 듣는다. 때로는 의학적으로 최선이 아닌 선택을 한다. 그것이 그 환자에게 옳은 것이기 때문이다.
법관도 마찬가지다. AI는 유사 판례를 분석해 형량을 제안한다. 하지만 법관은 같은 범죄도 맥락에 따라 다른 판결을 내린다.
이 과정은 알고리즘화될 수 없다. 윤리는 데이터에 있지 않다. 판단하는 주체의 고뇌 속에 있다.
남은 질문
수백 명의 윤리학자, 법률가, 공학자들이 AI 윤리를 설계하고 있다. 그들의 노력은 중요하다. 하지만 그것이 인간의 윤리적 사유를 대체해서는 안 된다.
윤리를 시스템에 심을 수 있다면, 인간은 여전히 도덕적 존재일 필요가 있을까?
답은 명확하다. 필요하다. 오히려 더욱 절실하다. 시스템이 정교해질수록, 그것을 감시하고 의심하고 때로는 거부할 수 있는 인간의 판단력이 중요해진다. 체크리스트를 넘어서는 고민, 매뉴얼에 없는 상황에서의 용기, 규칙과 현실 사이에서의 선택. 이것이 인간만이 할 수 있는 일이다.
윤리는 코드가 아니라 인격 속에 있다. 가이드라인이 아니라 고뇌 속에 있다. AI 시대에도, 아니 AI 시대이기에, 우리는 여전히 스스로 생각하고 스스로 결정해야 한다. 윤리를 설계하는 사람들의 노력을 존중하되, 그들에게 우리의 양심을 외주화해서는 안 된다.
기계가 규칙을 따르는 동안, 인간은 여전히 고민해야 한다. 그것이 우리가 인간인 이유다.