요즘 주변 사람들과 대화를 나누다 보면, “이거 ChatGPT한테 물어봤어”라는 말을 정말 자주 듣는다.
그만큼 AI가 우리 일상 속에 자연스럽게 들어왔다는 뜻이지만, 한편으로는 AI가 틀릴 때 사람들의 반응이 유난히 냉정하다.
“이게 왜 틀렸지?”, “AI가 이런 실수를 한다고?” — 마치 사람보다 더 완벽해야 할 존재로 기대하는 분위기다.
이런 흐름 속에서 얼마 전 호주에서 흥미로운 사건이 하나 있었다. 글로벌 컨설팅 회사 딜로이트(Deloitte)가 호주 정부로부터 약 44만 호주달러(약 4억 원)를 받고 제출한 보고서 일부가 AI로 작성된 것으로 밝혀진 것이다.
문제는 그 보고서 안에 존재하지 않는 논문 인용과 허위 근거가 포함되어 있었다는 점이었다. 결국 정부는 일부 금액을 환불받았고, AI의 신뢰성과 검증 문제는 다시 한번 세상에 큰 화두로 떠올랐다.
문제는 단순히 ‘AI를 썼다’는 게 아니었다. 보고서에는 존재하지 않는 논문 인용, 잘못된 법원 판례, 허위 근거들이 포함돼 있었고, 결국 정부는 일부 비용을 환불받았다. 딜로이트는 “AI가 핵심 결론엔 영향을 주지 않았다”라고 해명했지만, 이미 신뢰는 흔들렸다.
이 사건은 많은 엔지니어링 조직에게 하나의 질문을 던졌다.
“AI를 어디까지 믿을 수 있을까?”
시스템 엔지니어링(SE)은 복잡한 시스템을 설계하고 통합하며, 위험을 최소화하는 일이다. 이 분야는 문서와 절차, 분석과 검증으로 가득 차 있다 보니, AI가 들어설 자리가 아주 많다.
예를 들어, AI는 요구사항을 자동으로 분석하고 문서화할 수 있고, 이전 프로젝트의 데이터에서 유사한 사례를 찾아 설계안을 제안할 수도 있다. 또한 시뮬레이션 데이터를 분석해 이상 징후를 찾아내거나, 테스트 보고서를 초안 형태로 만들어주는 것도 가능하다.
다시 말해, AI는 보조 엔지니어(assistant engineer)처럼 일할 수 있는 수준까지 올라온 것이다. 여러 엔지니어들에서는 지루하고 반복적인 일을 줄여주고, 더 중요한 판단과 검토에 집중할 수 있는 환경을 만들어 준 것이다.
AI를 잘 쓰면, 시스템 엔지니어링의 속도는 달라진다. 반복적인 문서 작업이 줄고, 프로토타입을 더 빨리 만들 수 있다. 과거 프로젝트의 지식을 재활용하면서도, 새로운 설계 방향을 빠르게 시도할 수 있다.
특히 보고서 작성이나 시험 결과 요약, 설계 비교 같은 작업에서 AI는 이미 뛰어난 도우미다. 덕분에 엔지니어는 계산 대신 판단에, 문서 대신 창의에 더 많은 시간을 쓸 수 있다.
AI의 진짜 가치는 ‘대체’가 아니라 ‘가속’에 있다. 더 빨리, 더 깊이, 더 많이 생각할 수 있도록 돕는 것이다.
Note:
시스템 엔지니어링 회사 관점에서, AI 도입→얻을 수 있는 장점:
생산성 향상
문서 작성, 코드 생성, 디자인 초안 등 반복적이고 시간이 많이 드는 작업 자동화 가능 → 인력 비용 및 시간 절약.
지식 활용 / 검색 효율성
과거 프로젝트 자료, 논문, 베스트 프랙티스, 표준 문서를 빠르게 요약하거나 비교하는 데 도움.
정확도 및 품질 향상 (조건 있음)
에러가 없는 입력, 적절한 검토 체계, 데이터 품질 확보 등의 전제하에 모델이 실수를 줄여줄 수 있음.
비용 절감 / 규모의 경제 실현
반복되는 작업, 저수준 문서나 코드, 테스트 케이스 등을 자동화하면 인건비 및 시간을 줄여 규모 확대 가능.
혁신과 경쟁력
새로운 AI 기반 기능을 서비스에 포함하거나, 고객이 기대하는 기술 트렌드를 충족시켜 새로운 비즈니스 기회 확보 가능.
문제는 AI가 늘 정확하지 않다는 점이다. 딜로이트 사례처럼, AI는 자신 있게 틀릴 수 있다.
‘있어 보이는’ 문장을 만들어내지만, 사실이 아닐 수 있다. 출처가 불명확한 자료를 인용하거나, 존재하지 않는 논문을 만들어내는 경우도 흔하다.
이런 실수가 실제 계약 보고서나 시험 결과에 들어간다면, 그건 단순한 ‘오류’가 아니라 법적 책임으로 이어진다. 신뢰를 잃는 건 순식간이고, 평판을 회복하는 데는 수년이 걸린다.
또한 AI가 만든 결과를 검토하고 수정하는 데 드는 시간도 만만치 않다. 결국, 자동화를 도입했는데 사람이 더 고생하는 상황이 될 수도 있다.
Note.
AI를 도입했을 때 실패 또는 오류 발생 시 리스크:
허위 정보 / 허구 인용 ("hallucination")
딜로이트 사례처럼 존재하지 않는 출처, 잘못된 인용, 잘못된 법률 해석 등이 포함될 수 있음.
책임 문제 / 법적 리스크
보고서 오류로 인해 고객이 손해를 본 경우 책임소재가 커질 수 있음. 계약 위반, 사기 취급, 손해배상 청구 가능성 있음.
신뢰도 저하 및 평판 손실
회사 평판에 큰 타격. “AI로 대충 만들었다”는 인식이 퍼질 수 있음.
품질 관리 부담 및 비용 증가
AI가 만든 결과를 검토·교정하는 데 들어가는 시간이 생각보다 많을 수 있음. 버그, 오류 수정, 재작업 등이 비용을 키움.
보안 및 프라이버시 위험
민감한 데이터가 AI 툴에 노출되거나, AI 모델이 적절히 보안 관리되지 않으면 정보 유출 가능성.
윤리적 / 준법성 문제
지적재산권, 저작권 문제, 개인정보보호법, 증빙 자료의 진위 확인 문제 등 다양함.
의존성 및 기술 과신
"AI가 다 해주겠지" 식으로 인간 검토를 소홀히 하면 심각한 오류가 발생할 수 있음.
AI 기술은 이미 많은 산업에서 혁신을 일으키고 있지만, 방위산업(Defense Industry) 만큼은 예외다. 이 분야는 다른 산업보다 훨씬 신중하게, 그리고 느리게 움직인다. 이유는 단순하다. 한 번의 오류가 생명을 잃게 만들 수 있기 때문이다.
무엇보다 보안과 기밀성이 절대적이다.
방산 시스템에는 국가 전략, 작전 데이터, 핵심 인프라 정보처럼 외부로 새어나가선 안 되는 정보가 들어 있다. AI를 사용하면 이런 데이터가 모델 훈련 과정이나 외부 서버를 통해 노출될 위험이 있다. 그래서 대부분의 방산 조직은 AI를 ‘폐쇄망 내부에서만’ 제한적으로 운영한다.
두 번째는 안전성과 신뢰성이다.
AI는 본질적으로 비결정적(Non-deterministic)이다 — 같은 상황에서도 항상 같은 판단을 내리지 않는다. 이 특성은 일반 서비스에서는 장점일 수 있지만, 전투기 제어 시스템이나 미사일 방어체계 같은 곳에서는 치명적인 리스크다.
세 번째는 검증 가능성(Verifiability) 문제다.
방산 계약이나 감사 절차에서는 모든 시스템의 동작이 문서화되고, 하나하나 추적 가능해야 한다. 그런데 AI는 내부 로직이 불투명하다. “왜 이 판단을 내렸는가?”를 명확히 설명하기 어렵다면, 방산 체계에서는 절대 받아들여질 수 없다.
여기에 법적·규제적 제약도 크다.
무기 수출 규제, 국제 협약, 각국의 방산 법규 등은 AI 적용 범위를 엄격히 제한한다. 특히 자율 무기(Autonomous Weapon)나 AI 의사결정 시스템은 국제적으로 윤리 논란이 많아, 대부분의 방산 프로젝트에서는 아직 금기 영역에 가깝다.
그리고 마지막으로 중요한 부분은 책임소재의 불명확성이다. AI가 스스로 판단을 내린 결과 문제가 생긴다면, 과연 누가 책임을 져야 할까? 개발사인가, 운용자인가, 아니면 AI 그 자체인가? 이 질문에 명확한 답이 없기에, 방위산업은 쉽게 발을 들이지 못한다.
결국 방산 분야에서 AI는 ‘혁신의 도구’라기보다 ‘조심스러운 실험 대상’이다. 안전을 최우선으로 하는 이 세계에서, AI는 아직 검증되지 않은 기술이며, 모든 판단은 신중해야 한다는 오래된 원칙이 여전히 살아 있다.
AI는 분명 시스템 엔지니어링을 바꿀 기술이다. 하지만 아직은 “결정권자”가 아니라 “보조자”로 남아야 한다.
중요한 건 기술이 아니라 검증 체계다. AI가 만든 문서를 누가, 어떻게 검토할지. 결과의 신뢰성을 어떤 기준으로 확보할지. 이걸 정하지 않으면 AI는 효율이 아니라 위험이 된다.
AI는 사람을 대체하기 위한 것이 아니라, 사람이 더 현명하게 일할 수 있도록 돕는 도구여야 한다.
“AI를 믿을 수 있느냐”보다 더 중요한 질문은 이것이다.
“AI를 검증할 수 있느냐.”