제2장. 피지컬 AI시대 안전경영 3A(III)
피지컬 AI가 현장을 누비는 시대, 안전사고가 발생하면 전례 없는 혼란에 빠지게 될 것입니다. "로봇이 스스로 판단해서 움직였는데, 이걸 만든 제조사 책임인가? 아니면 현장에서 제대로 감독하지 못한 기업의 책임인가? 그것도 아니라면 학습 데이터의 오류인가?" 이 질문에 답하는 과정이 바로 ‘Accountability(책임)’의 핵심입니다. 책임은 단순히 사고의 주체를 찾는 것을 넘어, 시스템 전체의 신뢰를 어떻게 담보할 것인가의 문제입니다.
1. 사라진 '운전사': 책임 주체의 모호성
지금까지 산업 현장에서 책임의 소재는 비교적 명확했습니다. 장비를 조작한 작업자의 과실이거나, 장비의 정비 상태를 방치한 관리자의 과실이었습니다. 하지만 '자율성'을 가진 피지컬 AI는 이 경계를 무너뜨립니다.
- 통제권의 파편화: AI 로봇 하나가 움직이기 위해서는 하드웨어 제조사, 알고리즘 개발사, 센서 공급업체, 그리고 이를 운용하는 사업주가 복잡하게 얽힘. 사고가 발생했을 때 알고리즘의 '판단 미스'가 하드웨어의 '기계적 결함' 때문인지, 아니면 '불완전한 학습' 때문인지 가려내는 것은 마치 미로 찾기와 같을 것임.
- 알고리즘의 과실 인정 여부: 현재의 법 체계는 AI를 '인격체'로 보지 않음. 따라서 AI가 '과실'을 저질렀다는 표현은 법적으로 성립하기 어렵게 됨. 결국 AI의 행동은 그것을 설계하거나 운용한 '인간'의 책임으로 귀결될 수밖에 없는데, 이때 어디까지를 인간의 예견 가능한 범위로 볼 것인가가 쟁점이 될 수 있음.
"AI 사고의 책임 추적성은 단순한 법적 처벌을 넘어, 기술 수용성을 결정짓는 핵심 요소다. 명확한 책임 프레임워크가 없다면 기업은 혁신적인 AI 도입을 주저하게 될 것이다."
- EU AI Act, 2024 가이드라인
2. AI의 과실 vs 관리의 부재: 판단의 기준
앞으로 현장에서 가장 강조해야 하는 것은 '예견 가능성(Foreseeability)'과 '주의 의무(Duty of Care)'를 재정의하는 것이 될 것입니다.
- AI의 과실로 보이는 경우: 제품 설계 단계에서 이미 알려진 위험(Known Risks)에 대해 알고리즘이 적절한 안전장치를 갖추지 못했거나, 특정 상황에서 반드시 멈춰야 한다는 로직이 누락된 경우. 이는 제조물 책임법(PL법)의 영역에 가까움.
- 관리의 부재로 판단되는 경우: AI가 최상의 상태로 작동할 수 있는 '환경'을 조성하지 못한 경우. 센서의 렌즈를 닦지 않아 인식이 불분명해졌거나, 로봇의 작업 반경에 허가되지 않은 작업자를 진입시킨 경우, 혹은 AI가 보낸 위험 신호를 관리자가 묵살한 경우로 명백한 안전보건관리체계 구축 미비로 간주될 수 있음.
3. 중대재해처벌법과 피지컬 AI
피지컬 AI 시대, 기업인들이 가장 두려워해야 하는 지점은 “AI 로봇에 의해 사망 사고가 발생했을 때, 경영책임자는 처벌을 면할 수 있을까?”가 될 것입니다.
- 실질적 지배·운영·관리의 책임: 중대재해처벌법은 경영책임자가 '안전보건 확보 의무'를 다했는지를 봄. AI를 도입했다는 사실이 면죄부가 될 수는 없을 것임. 오히려 경영자는 AI라는 새로운 위험 요인에 대해 '알고리즘의 위험성 평가'를 실시했는지, 'AI 사고 대응 시나리오'를 갖췄는지를 증명해야 할 것임.
- 블랙박스의 투명성 확보: 앞서 다룬 XAI(설명 가능한 AI) 기술은 여기서 법적 방어권의 핵심 도구가 될 것임. 사고 당시 AI가 왜 그런 판단을 내렸는지 데이터로 증명할 수 없다면, 관리자는 '방치'했다는 비판에서 자유롭기 어려울 것임.
4. '책임(Accountability)'을 '신뢰(Trust)'로 바꾸는 전략
피지컬 AI 시대의 안전 경영자는 책임을 회피하는 방법이 아니라, 책임을 '분담'하고 '관리'하는 전략을 세워야 할 것입니다.
- 공동 책임 협약(Service Level Agreement, SLA): AI 공급사와 계약 시, 사고 발생 시의 책임 소재와 데이터 공유 범위, 보상 체계를 명확히 규정해야 함. 기술적 결함에 대한 보증 범위를 문서화하는 것이 첫걸음.
- 디지털 블랙박스 설치: 현장의 모든 AI 판단 데이터를 실시간으로 기록하고 보존하는 시스템을 갖추어야 할 것임. 이는 사고 조사 시 객관적 증거가 되며, 역설적으로 관리자가 의무를 다했음을 증명하는 가장 강력한 수단이 될 수 있음.
- 전문가 루프(Expert-in-the-Loop): 고위험 판단 구간에서는 AI가 독단적으로 결정하게 두지 않고, 반드시 안전 전문가의 승인을 거치게 하는 프로세스를 설계하여 '인간의 관리 권한'을 유지하는 것이 필요함.
결론: 책임은 기술의 뒤가 아니라 앞에 있어야 한다
피지컬 AI 시대의 책임은 사고가 난 뒤에 따지는 사후 처방이 되어서는 안 됩니다. 설계 단계부터 "누가, 어떻게, 어디까지 책임질 것인가"를 규정하는 '책임의 선제적 설계'가 필요합니다. AI에게 모든 판단을 맡기고 결과만 기다리는 경영은 '방임'입니다. AI가 내린 판단의 근거를 이해하고, 그 판단이 안전의 궤적 안에서 움직이도록 끊임없이 검증하는 것. 그것이 바로 피지컬 AI 시대에 요구되는 새로운 형태의 Accountability(책임)입니다. 책임을 명확히 할 때, 비로소 인간과 로봇은 진정한 의미의 신뢰 관계를 형성할 수 있을 것입니다.