사례 1: 보잉 737 MAX 추락
“승객보다 소프트웨어를 믿었다”
“승객보다 소프트웨어를 믿었다”
“조종간이 말을 듣지 않았다. 기체가 아래로 빨려 들어가고 있었다. 경고등이 울려댔고, 승객들은 비명을 질렀다. 단 12초 만에 모든 것이 끝났다.”
2018년 10월, 인도네시아 자카르타를 출발한 라이온에어 610편은 이륙 직후 이상한 움직임을 보였다.
조종사가 조종간을 끌어당기는데, 비행기는 자꾸 고개를 숙였다.
기체는 몇 차례 급강하와 상승을 반복한 끝에, 바다를 향해 곤두박질쳤다. 189명 전원 사망.
몇 달 뒤, 에티오피아에서도 같은 기종의 또 다른 추락 사고. 다시 157명이 사망했다.
두 사고 모두, 새로 탑재된 자동 조종 소프트웨어(MCAS) 때문이었다.
문제의 본질: '한 개의 센서'와 '숨겨진 시스템'
MCAS는 조종사가 기수를 지나치게 올릴 경우 자동으로 눌러주는 보정 장치다.
문제는 다음과 같다:
단 한 개의 센서에 의존했고,
그 센서가 고장나면 시스템은 오작동했으며,
조종사에게 이 시스템의 존재조차 제대로 알려지지 않았다.
결국, 조종사는 기체가 왜 급강하하는지조차 모른 채, 조종간을 끌어올리며 시스템과 사투를 벌였다. 하지만 MCAS는 조종사의 명령을 무시하고 자동으로 기체를 내려꽂았다. 보잉은 당시 MCAS가 오작동할 수 있는 리스크를 충분히 분석하지 않았고, 그 리스크를 증명할 자료도 없었다.
한 줄 요약: 인간보다 시스템을 믿었고, 그 시스템은 인간에게 아무것도 설명하지 않았다.
왜 이런 일이 벌어졌을까?
보잉은 경쟁사 에어버스를 따라잡기 위해 737 MAX를 빠르게 출시하려 했다. 새 엔진을 기존 기체에 장착하면서 비행특성이 변했고, 이를 보완하려고 MCAS가 도입됐다. 하지만 다음과 같은 시스템 안전 원칙들이 무시되었다:
위험 식별: 단일 센서 의존의 위험성이 과소평가됨
사용자와의 상호작용: 조종사에게 MCAS 존재 및 작동 방식 설명 부족
독립적 검증 (Assurance): FAA 심사가 보잉에 사실상 위임됨. 자체 검토 부실
교훈: 시스템이 인간의 생명을 맡을 자격이 있으려면?
737 MAX 사태는 우리에게 한 가지 사실을 명확히 보여준다:
"시스템은 완벽하지 않다. 중요한 건 시스템이 ‘안전하지 않을 수도 있음’을 전제로 설계하고 검증하는 것"이다.
✅ 시스템 안전(System Safety)이란?
문제가 발생하기 전에 위험을 분석하고 제거하는 것
인간이 시스템을 신뢰할 수 있도록, 그 위험이 예측 가능하게 설계되는 것
✅ 시스템 보증(System Assurance)이란?
설계가 정말 안전하게 작동한다는 증거를 확보하고 제시하는 활동
단순히 “잘 될 거예요”가 아니라, “이러이러한 위험을 이렇게 막았고, 테스트했고, 검증받았습니다”를 보여주는 것