13. 자율주행차가 사람을 친다면?

‘트롤리 딜레마’를 코딩하는 사회, 제조물책임법의 한계

Sep 14. 2025

"인류가 수레바퀴를 발명한 이래, 길 위에서 벌어지는 비극의 책임은 언제나 그것을 몬 ‘인간’의 몫이었다. 그러나 이제 우리는 운전석이 비어있는 자동차가 스스로 판단하여 도로를 질주하는 시대를 목전에 두고 있다. 만약 지능을 가진 기계가 피할 수 없는 사고의 순간에 누군가의 생명을 ‘선택’ 해야 한다면, 우리는 그 책임을 누구에게 물어야 할까? 이 질문은 더 이상 공상과학 소설의 상상력이 아니라, 우리 사회의 법과 윤리 시스템 전체를 시험대에 올리는 냉엄한 현실이다. 이런 패러다임 전환의 중심에는 인공지능(AI)이 있다. "

AI는 교통사고를 획기적으로 줄여 인류에게 전례 없는 안전과 효율을 약속하지만, 바로 그 지능 때문에 역설적으로 가장 어려운 법적·철학적 문제를 야기한다. 수십억 개의 매개변수로 이루어진 AI의 판단 과정을 인간이 완벽히 이해할 수 없는 ‘블랙박스’의 특성은 과연 기계의 의도된 판단을 법의 잣대로 심판할 수 있을지 근본적인 질문을 던진다.

수백 년간 인간의 ‘과실’을 전제로 구축된 법률 체계는 이제 AI라는 새로운 행위자 앞에서 그 한계를 드러내고 있다. 철학자들의 사고 실험이었던 ‘트롤리 딜레마’는 이제 엔지니어들이 코드로 구현해야 할 현실의 과제가 되었고, 소비자를 보호하던 ‘제조물책임법’은 AI의 복잡성 앞에서 무력해질 위기에 처했다. AI가 운전대를 잡는 시대, 우리는 인간의 존엄성을 지키기 위해 법과 기술의 관계를 어떻게 재정의해야 할까?

알고리즘의 법정(法廷) ― 기계의 판단을 심판대에 올리다

1. 결함 없는 비극, 제조물책임법의 낡은 잣대

전통적으로 결함 있는 제품이 소비자에게 피해를 주었을 때, 우리 법체계는 ‘제조물책임법’이라는 강력한 방패를 제공해 왔다. 피해자는 제조업자의 고의나 과실을 입증할 필요 없이 제품에 ‘설계상, 제조상, 또는 표시상의 결함’이 있었다는 사실과 그로 인해 손해가 발생했다는 인과관계만 증명하면 되었다.¹ 이 법리는 정보가 부족한 소비자를 보호함과 동시에 기업에게 안전한 제품을 만들 사회적 책무를 부여하는 합리적인 시스템이었다. 그러나 이러한 제조물책임 체계는 AI의 등장으로 말미암아 근본적인 도전에 직면하였다.

가장 큰 균열은 AI가 ‘설계대로 완벽하게 작동’했음에도 비극적인 사고가 발생할 수 있다는 역설에서 비롯된다. 트롤리 딜레마 상황을 가정해 보자. 자율주행차가 주행 중 브레이크가 고장 났을 때, 그대로 직진하면 헬멧을 쓰지 않은 오토바이 운전자 세 명과 충돌하고, 핸들을 꺾으면 헬멧을 쓴 한 명의 운전자와 충돌하는 상황이다. 이 질문에 답하기 위해 우리는 두 가지 상반된 윤리적 프레임워크의 충돌과 마주해야 한다. 첫째는 ‘최대 다수의 최대 행복’을 추구하는 공리주의다. 이 관점에 따르면 AI는 더 많은 생명을 구하는 방향으로, 즉 세 명 대신 한 명을 희생시키는 선택을 하도록 코딩되어야 한다.² 이는 사회 전체의 피해를 최소화하는 가장 합리적인 결론처럼 보인다. 둘째는 결과와 상관없이 보편적인 도덕 법칙과 의무를 따라야 한다는 의무론이다.³ 이 관점에 따르면 특정인을 구하기 위해 다른 무고한 사람을 해치는 ‘행위’ 자체는 살인이므로 허용될 수 없다. 따라서 AI는 인위적으로 핸들을 꺾어 누군가를 표적으로 삼아서는 안 되며, 최초의 경로를 유지해야 한다.

자율주행차 관련 기업의 엔지니어와 경영진은 이러한 극단적 상황을 가정하고 윤리적 프레임워크를 고려하여, AI가 어떤 기준으로 판단하고 행동할지를 미리 알고리즘으로 설계한다. 그리고 충격적이게도, 이렇게 설계된 알고리즘을 따른 AI 시스템에는 기술적인 의미의 ‘결함’은 존재하지 않는다. 어떤 결과를 낳든 AI는 주어진 윤리적 목표와 조건 속에서 설계된 대로 ‘정상 작동’한 것이기 때문이다. 하지만 그 윤리적 목표와 조건에 따른 판단의 결과로 누군가는 목숨을 잃었다. ‘정상적인 작동’이 낳은 비극 앞에서 전통적인 제조물책임법은 적용의 대상을 잃고 무력해진다.

AI의 의사결정 과정이 ‘블랙박스’와 같아 결함의 입증 자체가 거의 불가능하다는 점은 문제를 더욱 심화시킨다. 딥러닝 AI의 설계는 인간이 의도를 가지고 만든 도면이 아니라 AI가 방대한 데이터로부터 ‘스스로 학습’한 결과물이다. 개발자조차 AI가 특정 상황에서 왜 그런 판단을 내렸는지를 100% 설명하지 못할 수 있으며, 사고의 원인이 수십억 개의 매개변수로 이루어진 신경망의 어느 부분에서 비롯되었는지 사후적으로 역추적하는 것은 사실상 불가능에 가깝다. 이러한 상황에서 피해자에게 AI의 설계상의 결함을 입증하라고 요구하는 것은 제조물책임법의 소비자 보호라는 입법 취지를 근본적으로 무력화시키는 결과를 낳을 수 있다.

결론적으로 AI의 윤리적 판단 프로그래밍은 ‘결함 없는 비극’을 만들어낼 수 있으며, 이는 기존 제조물책임법의 패러다임으로는 해결할 수 없는 문제다. 이것은 추상적인 윤리 문제를 구체적인 코드로 구현해야 하는, 인류가 이전에 경험하지 못한 새로운 도전이다. AI의 블랙박스 특성과 자동화 레벨의 고도화는 책임의 소재를 미궁 속으로 빠뜨리며, 이는 곧 피해자는 존재하지만 가해자는 없는 ‘책임의 공백’ 상태를 야기할 수 있음을 뜻한다.

2. 책임의 진공상태 ― 도덕적 크럼플 존과 멈출 수 없는 경주

그렇다면 왜 자율주행차는 단순히 ‘교통 법규를 준수’하도록 프로그래밍될 수 없을까? 교통 법규 준수만으로도 책임의 공백 사태는 예방할 수 있지 않을까?

역설적이게도 그 이유는 자율주행차가 단순히 교통 법규만 준수해서는 안전한 운행이 불가능하기 때문이다. 실제 도로는 법규로 규정되지 않은 수많은 사회적 약속과 예측 불가능한 돌발 상황으로 가득하다. 도로 위에서는 법규 외에도 다른 운전자와의 암묵적인 소통(눈 맞춤, 손짓)이나 관습적인 양보 등 비공식적 규칙이 중요하게 작용한다.⁴ AI는 이러한 사회적 맥락을 이해하는 데 한계가 있다. 그리고 때로는 규칙 위반이 더 안전한 경우도 있다. 예를 들어, 도로에 불법 주차된 차량을 피하기 위해 중앙선을 잠시 넘는 행위는 명백한 법규 위반이지만, 그대로 멈추는 것보다 더 안전한 선택일 수 있다. AI에게 이러한 ‘합리적 위법’을 허용할 것인지, 허용한다면 그 기준은 무엇인지는 매우 어려운 문제다. 나아가 모든 규칙을 준수하더라도 타이어 펑크, 갑작스러운 도로 함몰, 다른 차량의 돌진 등 ‘피할 수 없는 사고’는 반드시 발생한다.

이렇듯 피할 수 없는 사고 상황에서 누구의 생명을 우선할 것인가에 대한 ‘죽음의 알고리즘’을 사회적으로 합의하는 것은 지극히 어려운 과제다. MIT 미디어랩의 ‘모럴 머신’ 프로젝트가 보여주듯, 생명을 구하는 우선순위는 문화, 연령, 심지어 개인의 가치관에 따라서도 극명하게 갈린다.⁵ 정부가 법으로 “노인보다 어린이를 우선하여 구하라”와 같은 기준을 정하는 순간, 국가가 생명의 가치를 차등적으로 매긴다는 엄청난 윤리적 비판과 사회적 저항에 직면할 것이다.

문제는 누구도 선뜻 책임지려 하지 않는 윤리적 공백이 그 책임을 가장 취약한 주체에게 떠넘기는 ‘도덕적 크럼플 존(Moral Crumple Zone)’ 현상을 낳는다는 데 있다. 자동차의 크럼플 존이 충돌 시 찌그러지면서 탑승자를 보호하듯, 도덕적 크럼플 존은 AI가 판단하기 어려운 애매한 상황이 발생했을 때 제어권을 급박하게 인간에게 넘겨버림으로써 제조사나 규제 당국을 보호한다. 갑작스럽게 운전대를 넘겨받은 인간 운전자는 제대로 된 판단을 내리기 어려워 사고를 내고, 법적 책임은 결국 ‘최종적으로 운전대를 잡은’ 인간에게 돌아가는 비합리적인 구조가 만들어진다.⁶ 이는 기술적 한계라기보다, 제조사가 법적 책임을 최소화하기 위해 시스템과 인간 사이의 모호한 상호작용 영역으로 책임을 떠넘기는 전략적 선택일 수 있다. 이 구조 속에서 인간은 AI 시스템의 실패를 흡수하는 마지막 완충재 역할로 전락한다.

더욱이 시장의 논리는 이러한 딜레마를 더욱 복잡하게 만든다. ‘모럴 머신’ 실험에 따르면 사람들은 타인의 자율주행차는 사회 전체의 피해를 줄이는 공리주의적 알고리즘을 탑재하기를 원하면서도, 정작 자기 자신은 ‘나를 최우선으로 보호해 주는’ 이기적인 차를 구매하겠다고 응답했다.⁷ 이러한 소비자의 이중적인 것 같은 태도는 제조사에게 윤리적 딜레마를 회피하고 ‘탑승자를 최우선으로 보호한다’는 이기적인 알고리즘을 탑재할 강력한 시장 인센티브를 제공한다. 이는 사회 전체가 책임의 폭탄 돌리기를 하는 것과 같으며, 그 폭탄은 결국 사고의 순간에 운전대를 잡고 있던 평범한 개인 위에서 터지게 된다.

이런 심각한 딜레마에도 불구하고 각국 정부와 기업들은 자율주행차 개발이라는 경주를 멈출 수 없다. 자율주행 기술은 AI, 반도체, 통신, 데이터가 총망라된 미래 산업 생태계의 정점으로, 이 생태계를 지배하는 국가가 21세기 경제의 주도권을 쥘 것이라는 명확한 계산이 깔려 있기 때문이다.

3. 새로운 항해를 위한 법적 나침반 ― 책임 있는 AI 사회를 향하여

앞서 본 것처럼 AI의 판단이 기술적 ‘결함’이 아닌 사회적으로 합의되지 않은 ‘윤리적 선택’의 영역에 있을 때, 제조물책임법은 적용의 대상을 잃고 무력해진다. 이는 사고의 원인이 비정상적인 오작동이 아닌 ‘정상적인 작동’에 있다는 점에서 기존의 법체계가 한 번도 경험해보지 못한 새로운 도전이다.

AI가 야기한 이러한 법적 공백에 대응하기 위해 기술 선도국들은 기존 법체계를 넘어 새로운 규범을 만드는 데 앞장서고 있다. 2017년 세계 최초로 자율주행차 윤리 준칙을 포함한 도로교통법 개정안을 통과시킨 독일은, 피할 수 없는 사고 발생 시 나이·성별·인종 등 개인의 특성에 기반한 차별적 판단을 명시적으로 금지하고, 사고 원인 규명을 위해 운행 데이터 기록장치 장착을 의무화하였다.⁸ 한편 영국은 2018년 자율 및 전기자동차법(Automated and Electric Vehicles Act)을 제정하여 자율주행차 사고 발생 시 우선 피해자가 보험사를 통해 신속하게 보상받도록 하는 실용적인 해법을 규정하였다.⁹

이처럼 복잡하게 얽힌 책임의 사슬을 풀기 위해서는 단일한 해법이 아닌, 기술, 법, 보험이 결합된 다층적인 책임 분배 시스템을 설계해야 한다.

첫째, 사고 발생 시 책임 소재를 따지기 전에 먼저 보험사가 피해자에게 신속하게 보상하는 제도를 도입하여 사회적 안전망을 구축해야 한다. 이는 복잡하고 긴 소송 과정에서 고통받는 피해자를 줄이는 효과적인 제도가 될 수 있다.

둘째, 기존의 ‘결함 기반’ 접근을 넘어, 각 주체가 자율주행 시스템에서 ‘통제하는 위험의 정도’에 따라 책임을 배분하는 새로운 법리를 모색할 수 있다. 예를 들어 AI 알고리즘의 예측 불가능성에서 비롯된 사고는 AI 개발사가 더 큰 책임을 지고, 센서의 물리적 고장으로 인한 사고는 센서 제조사가, 시스템의 경고를 무시한 운전자의 오용으로 인한 사고는 소유주가 책임을 지는 식이다. 이를 위해서는 사고 데이터 기록장치(EDR)를 표준화하고 사고조사 기관이 이 데이터에 접근할 권한을 법적으로 보장하는 것이 전제되어야 한다.¹⁰

셋째, 보험 제도를 미래지향적인 관점에서 새롭게 설계해야 한다. 미래의 자동차 보험은 운전자의 나이나 운전 경력이 아닌 실제 운행 데이터를 기반으로 설계될 것이다. 보험사는 차량에 탑재된 소프트웨어의 안전 등급, 업데이트 주기, 운전자의 자율주행 모드 사용 패턴 등을 분석하여 보험료를 책정하고, 사고 발생 시 이 데이터를 활용하여 책임 비율을 산정할 수 있다.

자율주행차가 사람을 치는 비극적인 순간은 기술의 실패 이전에 법과 윤리의 실패일 수 있다. 자율주행차의 책임 문제 해결은 단순히 자동차 산업에 국한되지 않는다. 이는 AI가 인간의 생명과 안전에 직접적인 영향을 미치는 AI 수술 로봇의 의료사고, 자율살상무기의 오인 공격 등 다른 모든 ‘물리적 AI’ 분야의 규제 방향을 결정하는 중요한 선례가 될 것이다. 궁극적으로 인류는 지금 단순히 ‘자동차 사고’의 문제를 다루고 있는 것이 아니라, AI와 어떻게 공존할 것인지에 대한 사회적 계약을 새로 쓰는 것이다.

도로와 규범 위에서 질주하는 자율자동차

대한민국은 세계적인 자동차 제조 기술과 AI 역량을 바탕으로 책임 있는 AI 사회의 규범 설계자로 자리매김할 기회를 맞이했다. 명확한 법적 프레임워크는 시민에게는 신뢰를, 기업에게는 예측 가능성을 제공하여 기술 발전을 오히려 촉진하는 혁신의 인프라가 될 수 있다. 그러려면 AI의 윤리적 판단 기준을 개별 기업의 결정에만 맡겨서는 안 된다. 독일과 영국의 사례를 참고하되, 우리의 법체계와 사회적 가치에 맞는 독자적인 자율주행차 책임법을 선제적으로 마련해야 한다. 정부와 학계가 중심이 되어 AI 윤리 가이드라인을 구체화하고, 사회 각계각층이 참여하는 공론의 장을 통해 피할 수 없는 사고 시의 판단 원칙(예 : 차별 금지, 인명 최우선)에 대한 사회적 합의를 도출할 필요가 있다.

대한민국이 이 도전에 어떻게 응답하느냐는, 다가올 AI 시대에 우리가 인간의 존엄성을 지키는 성숙한 사회로 나아갈 수 있는지를 가늠하는 중요한 시금석이 될 것이다.

¹ 제조물 책임법 [시행 2018. 4. 19.] [법률 제14764호, 2017. 4. 18., 일부개정]

제2조(정의) 이 법에서 사용하는 용어의 뜻은 다음과 같다.

1. “제조물”이란 제조되거나 가공된 동산(다른 동산이나 부동산의 일부를 구성하는 경우를 포함한다)을 말한다.

2. “결함”이란 해당 제조물에 다음 각 목의 어느 하나에 해당하는 제조상ㆍ설계상 또는 표시상의 결함이 있거나 그 밖에 통상적으로 기대할 수 있는 안전성이 결여되어 있는 것을 말한다.

가. “제조상의 결함”이란 제조업자가 제조물에 대하여 제조상ㆍ가공상의 주의의무를 이행하였는지에 관계없이 제조물이 원래 의도한 설계와 다르게 제조ㆍ가공됨으로써 안전하지 못하게 된 경우를 말한다.

나. “설계상의 결함”이란 제조업자가 합리적인 대체설계(代替設計)를 채용하였더라면 피해나 위험을 줄이거나 피할 수 있었음에도 대체설계를 채용하지 아니하여 해당 제조물이 안전하지 못하게 된 경우를 말한다.

다. “표시상의 결함”이란 제조업자가 합리적인 설명ㆍ지시ㆍ경고 또는 그 밖의 표시를 하였더라면 해당 제조물에 의하여 발생할 수 있는 피해나 위험을 줄이거나 피할 수 있었음에도 이를 하지 아니한 경우를 말한다.

제3조의2(결함 등의 추정) 피해자가 다음 각 호의 사실을 증명한 경우에는 제조물을 공급할 당시 해당 제조물에 결함이 있었고 그 제조물의 결함으로 인하여 손해가 발생한 것으로 추정한다. 다만, 제조업자가 제조물의 결함이 아닌 다른 원인으로 인하여 그 손해가 발생한 사실을 증명한 경우에는 그러하지 아니하다.

1. 해당 제조물이 정상적으로 사용되는 상태에서 피해자의 손해가 발생하였다는 사실

2. 제1호의 손해가 제조업자의 실질적인 지배영역에 속한 원인으로부터 초래되었다는 사실

3. 제1호의 손해가 해당 제조물의 결함 없이는 통상적으로 발생하지 아니한다는 사실

² 물론 공리주의에는 쾌락의 양적 차이를 중시하는 양적 공리주의(제레미 벤담)와 쾌락의 질적 차이를 함께 고려하는 질적 공리주의(존 스튜어트 밀) 기타 다양한 이론들이 있으므로, 본문의 예시처럼 공리주의를 획일적으로 설명할 수는 없다. 독자 제현께서 본문의 이해를 돕기 위한 예시로 이해해 주시기 바란다. 공리주의적 접근방식에 대한 자세한 설명은 맹준영, 「자율주행자동차와 민사책임」, 서울대학교 대학원 법학과 법학박사학위논문, 2019년 8월, 171-173쪽을 참조.