2026년, 45%의 OO가 AI를 신뢰 안 함
2023 인사이드 IT 트렌드
2026년, G2000 기업의 45%는 일선 실무자와 비즈니스 리더가 검증된 자율 기술 시스템이 시작한 조치를 신뢰하지 않기 때문에 중대한 위험에 계속 직면할 것 - IDC, IT Industry 2023 Predictions
흥미로운 2023 IT 트렌드입니다. 여러 의미로 해석 가능한 이 예측은 어떤 의미에서는 AI나 자동화 기술에 대한 적용성을, 다른 의미에서는 실무자나 비즈니스 리더의 신중함으로 해석 가능하기 때문입니다. 고민하면서 양쪽 모두를 차근차근 풀어보도록 하겠습니다. 이전 2023 IT 트렌드 글을 통해 소개해 드린 것처럼, 앞으로 IT 운영 관리 업무 자동화와 AI 시스템 의존도는 지속 증가할 것으로 예상됩니다.
참고#1:
참고#2:
기술적 관점에서 이렇게 AI 자동화를 활용한 여러 좋은 예측들도 속속 발표되고 있지만, 이 예측에 따르면 현업에서 AI와 자동화 기술 도입은 좀 더 시간이 걸릴 것으로 예측됩니다. 그 이유는 결국 AI 신뢰성에 대한 문제 때문입니다.
책임 있는 AI(responsible AI), 신뢰할 수 있는 AI(trusted AI)
여러 클라우드 벤더(CSP)들이 이러한 AI에 대한 강령들을 속속 발표했습니다. AI의 발전은 기술 혁신의 단면을 보여줬지만, 반대급부로 그 적용성에 대한 기대치는 마우 달랐습니다. 예를 들어, "인공지능 판사"에 대한 논란입니다.
- 보석으로 풀려나려면 11시 30분에 재판을 받아라. 배고픈 판사가 보석 석방률이 높다.
- 유전무죄, 무전유죄. 이럴 바에는 인공지능 판사에게 재판받자.
인공지능 판사 도입 시도는 국내에서도 여러 번 있었습니다. 기술적인 입장에서 보면, 수십 년간의 판례와 법정 대화는 정확하게 기록되어 있어 훌륭한 모델 트레이닝 데이터로 활용 가능하며, 법전은 물론 구형, 실형, 선고 등과 같은 결정 역시 정형화된 부분이 대부분이기 때문입니다. 기술적인 상황과 다르게 실제 여러 전문가의 의견은 여전히 이르다는 평가입니다.
실제 재판을 받아야 하는 피고인. 인생이 결정될 수 있는 입장에서 AI판사에 대한 신뢰는 여러 해석과 다툼의 여지가 여전히 많습니다. 인공지능 판사에 대한 양쪽 의견을 차근차근 살펴보면 AI의 도입이 늦어지는 이유에 대해 조금 더 깊게 살펴볼 수 있습니다.
책임 있는 AI(Responsible AI) - Microsoft1) 윤리(ethical)
윤리적 관점에서 AI는 주장에 있어서 공정하고 포용적이어야 하고, 그 결정에 대한 책임을 져야 하고, 다른 인종, 장애 또는 배경을 차별하거나 방해하면 안 됩니다.
Q. AI 판사, 판결하는 AI라면, 판결에 대한 불복 등 항소를 통해 AI 판사의 기술적 문제가 발견될 수 있고, 막대한 손해배상 청구 소송을 당한다면, 그 책임과 배상은 "누가" 해야 할까요?
A. AI를 설계하고 제작하는 사람은 AI의 결정에 대해 책임(accountability)이 있습니다.
Q. 결국 AI도 개발자가 만듭니다. 이 개발자는 사람이고 모든 사람은 보유 편향이 있습니다. 이 개발자가 청소년 시절 집단 괴롭힘을 당했다면, 집단 괴롭힘 가해자 판결 루틴에 무의식적으로(또는 의도적으로) 편향된 결과를 넣을 수도 있지 않을까요?
A. AI를 설계하고 제작하는 사람은 AI의 결정에 대해 책임이 있으며, 모델 개발 시 포용적(inclusive) 관행으로 개발자나 데이터 과학자의 편향 가능성을 파악하고 해결해야 합니다.
Q. 과거 AI "이루다 사건"처럼, 악성 사용자(abuse user)에 의한 혐오발언, 개인정보 유출 등의 사태로 3주 만에 서비스가 중단되었습니다. 판사 AI도 비슷할 것입니다. 판사 AI가 어떻게 안정적이고, 또한 안전하다고 판단할 수 있습니까?
A. AI 시스템이 설계한 의도에 따라 안정적으로(reliability) 작동하고 여러 상황에 안전(safety)하게 대응하는 것이 중요하며, 엄격한 테스트 및 유효성 검사를 설정하고 평가 프로세스를 다변화해야 합니다. AI 시스템에 대한 지속적인 모니터링과 추적 프로세스를 설정해 피드백 루프(사용자의 입력을 AI 트레이닝에 재사용)를 엄격하게 설정하고, 지속적으로 최신 상태를 유지해야 합니다.
2) 설명 가능성(explainability)
설명 가능성은 데이터 과학자, 감사자 및 비즈니스 의사 결정권자가 AI 시스템이 의사 결정과 결론에 도달하는 방법의 합리적 근거를 제시할 수 있도록 하는 데 도움이 됩니다. 또한 회사 정책, 산업 표준 및 정부 규정을 준수하는 데 도움이 됩니다. 데이터 과학자는 특정 수준의 정확도를 달성한 방법과 무엇이 이 결과에 영향을 미쳤는지 관련자에게 설명할 수 있어야 합니다. 마찬가지로 회사의 정책을 준수하려면 감사자에게는 모델의 유효성을 검사하는 도구가 필요하고, 비즈니스 의사 결정권자는 신뢰를 얻기 위해 투명한 모델을 제공할 수 있어야 합니다.
Q. AI판사가 왜 이런 판결을 한 것입니까? AI판사는 결국 공공기관(법무부)나 법원에 고용된 회사의 개발자가 만들어낸 블랙박스입니다. 어떻게 이 판결의 유효성을 검증할 수 있습니까?
A. 설명 가능성(explainability)은 예측 모델을 만든 데이터 과학자나 개발자, 감사자 및 비즈니스 의사 결정권자가 결정과 결론까지 도달한 방법과 절차를 정당화할 수 있는 방안을 제공합니다. 이러한 결과가 도출된 요인을 이해당사자에게 설명 가능해야 하며, 모델 투명성 역시 제공되어야 합니다. (2023 IT 트렌드의 중요한 주제이므로 아래에서 좀 더 깊게 논의합니다.)
Q. AI 판사가 피부색, 성별, 성적 지향, 종교적 성향 등에 따라 공정하다고 판단할 수 없습니다. 특히 머신러닝에 대한 상식처럼, 수많은 데이터, 특히 과거 수십 년간의 데이터를 학습에 사용했다면 더더욱 최근의 변화된 사회를 판결에 적용하지 못할 것입니다. 이런 AI 판사가 어떻게 공정하다고 판단할 수 있습니까?
A. 공정성(fairness)을 위해 시스템에 차별이 없도록 균형과 견제가 AI에 필요합니다. 공정성 검사 목록을 인공지능 평가에 항상 적용하며 불공정의 영향을 최소화하는 권장 평가 사항을 체크해야 합니다. 전체 AI 개발 단계에서 사용 가능한 공정성 도구가 여러 벤더 또는 오픈소스 프로젝트로 제공됩니다. 불공정 완화 알고리즘과 공정성을 시각화(visualization)하는 것도 가능합니다.
Q. 같은 재판, 같은 데이터를 넣어도 AI판사의 응답이 모델의 버전에 따라 다릅니다. 확인하니 기술적 관점에서 사용된 데이터, 알고리즘, 전처리(pre-processing) 시 변환 루틴과 같은 모델 트레이닝에 사용되는 다양한 자산들에 따라 모델이 달라지는 것으로 확인했습니다. 이 모델이 만들어진 방법을 투명하게 체크할 수 있습니까?
A. 투명성(transparency)이 이러한 데이터, 알고리즘, 전처리시 변환 루틴과 같은 모델 트레이닝에 사용되는 모든 설정(configuration과 parameter)과 자산을 기록해 모델을 재현할 수 있도록 유지합니다. 이 방법으로 모델의 예측 결과를 더 잘 이해할 수 있게 됩니다.
Q. 판사 AI에서 트레이닝에 사용된다고 하는 데이터는 오래전 과거 개인정보를 중요하게 보지 않았던 시절의 데이터를 포함하고 있습니다. 이러한 개인정보가 어떻게 보호됩니까?
A. 데이터 보유자가 AI 시스템 데이터를 보호(security)할 의무가 있고, 개인정보(privacy)는 필수 항목입니다. 개인정보에 대한 데이터를 랜덤화, 익명화하고 개발자나 데이터 과학자에게도 개인정보를 숨겨서 모델을 트레이닝합니다.
설명 가능한(explainable) AI와 머신러닝
IT 트렌드가 아니라, AI와 머신러닝의 입장을 대변하는 변호사가 된 것 같은 기분이 드네요. 특히, 모두에게 가장 설득력이 높은 부분은 설명 가능한 AI와 머신러닝입니다.
설명 가능한 AI(XAI) 트렌드는 최근 몇 년 동안 이러한 신뢰 문제에 대한 접근으로 다양한 연구와 노력이 있습니다. 예를 들어, Github에서 오픈소스로 제공되는 Microsoft의 InterpretML이나 Google의 Vertex Explainable AI가 그런 사례입니다.
통계 모델에 explain 수행 - 특성 기여 점수를 시각화해 예측에 가장 많이 기여한 특성 확인
이미지 분류 모델에 explain 수행 - 이미지의 어떤 특성이 강아지 또는 고양이 분류에 기여했는지를 시각화하지만 기술적 난제도 있습니다. 모델의 종류에 다라 구조 해석이 가능한 유리상자(glass-box) 모델과 복잡한 신경망 구조의 중첩으로 해석이 어려운, 딥러닝으로 생성된 블랙박스 모델도 있습니다. AI 신뢰에 대한 고민과 함께 이 xAI 분야 역시 매우 빠르게 발전하는 분야이니 조금 더 기다리셔도 좋습니다.
기술적 AI가 아닌 조직의 사람에 대한 접근
기술적인 관점에서 AI 신뢰에 대해 살펴보았습니다. 그렇다면 다시 오늘의 IT 트렌드 주제를 살펴봅니다.
2026년에 G2000 기업의 45%는 일선 실무자와 비즈니스 리더가 검증된 자율 기술 시스템이 시작한 조치를 신뢰하지 않기 때문에 중대한 위험에 계속 직면할 것 - IDC, IT Industry 2023 Predictions
AI와 자동화 시스템의 도입은 조직의 장기적 관점에서 큰 혜택이지만, "자동화되는 당사자"들에게 다른 의미로 다가옵니다. 늘 기업의 변화에는 임직원과 프로세스의 저항이 함께 공존했습니다. 변화에 대한 저항은 이렇게 바늘과 실처럼 불가분의 관계입니다.
일선 실무자들의 저항
전사 관점에서 가장 크고 오래가는 도전은 사람(고객, 파트너, 직원)입니다.
자동화가 가져다주는 혜택에는 비용절감이라는 숨은 의도가 있고, 이는 "내 일자리가 사라짐"으로도 의역 가능합니다. 이럴 경우 일반적인 대응은, 도입이나 검토에 소극적이며, 팀이나 조직 차원의 방어기제 동작이 있을 수 있습니다. AI와 자동화 기술에 대한 신뢰만큼, 조직의 신뢰 구축도 필수적입니다. 단계적인 도입 지침을 통해 최소 단위 팀에서 실험적으로 도입을 진행하면서 점차 그 범위를 넓혀가는 형태의, 기업의 문화에 맞는 여러 단계적 도입 방안을 고려할 수 있습니다.
비즈니스 리더의 저항
비즈니스 리더, 소위 C레벨의 임원들은 오랜 시간 관계를 통한 비즈니스를 가치 교환에 입각해 신중하게 결정했을 가능성이 높습니다. 비즈니스 방향을 틀라는 예측 리포트가 올라왔는데, 근본도 모르는 AI가 예측했다? 블랙박스로 내부를 알 수 없는 모델 = 신뢰할 수 있는 AI의 여러 팩터로 인해 더 큰 저항이 있을 수 있으며 도입을 위한 설득이 지극히 어려울 수 있습니다.
이럴 경우는 비즈니스 비 치명(non-critical) 분야부터 시작할 수 있습니다. 예를 들어, 추천 서비스와 같은 분야로 시작해 조금씩 단계를 옮겨가며 치명 분야, 예를 들면 공장자동화와 같은 분야로 단계적 이행이 필요합니다. 도입 검토 단계부터 비즈니스 리더와 협의해 KPI를 설정하고, PoC는 비즈니스 조직의 매출 기여에 초점을 맞춥니다. 데이터에 입각한 분석과 비즈니스 예측이 신뢰를 얻기까지 오랜 시간이 걸릴 수 있습니다.
전사적 관점에서 준비사항
2023년, IT 조직 또는 CIO 조직의 새로운 업무는 자동화와 인공지능의 조치를 조직의 한 프로세스로 정립하는 새로운 역할입니다.
- 비즈니스 프로세스 자동화와 IT 프로세스 자동화에 AI를 점차적으로 검토하고 도입합니다.
- 중장기적 관점에서 단계적으로 분야와 산업별 임직원 대상 교육을 위한 이행 지침을 마련합니다.
- AI - 사람과 조직 간 기대치와 역할 간극을 정량화해 확인하고, 이 간극을 좁힐 수 있는 파트너와 적극 협업합니다.
2026년에 G2000 기업의 45%는 일선 실무자와 비즈니스 리더가 검증된 자율 기술 시스템이 시작한 조치를 신뢰하지 않기 때문에 중대한 위험에 계속 직면할 것 - IDC, IT Industry 2023 Predictions
참고 자료:
https://wire19.com/it-industry-predictions-by-idc/
https://www.cio.com/article/410720/10-future-trends-for-working-with-business-leaders.html
https://www.techrepublic.com/article/idc-it-predictions/
https://cwongproductions.com/blog/f/idc-predictions-for-connectedness-in-2023-and-beyond
https://learn.microsoft.com/en-us/azure/cloud-adoption-framework/innovate/best-practices/trusted-ai
https://github.com/interpretml/interpret/
https://cloud.google.com/vertex-ai/docs/explainable-ai/overview#compare-method
사진 출처:
