HBR 디지털 아티클 The AI Transparency Paradox : Risk Management 번역
최근 인공지능 활용에 대해 투명성(Transparency)을 더 강화해야 한다는 주장이 학계와 기업 모두에게서 나오고 있는데요. 투명성은 AI의 공정성, 차별성, 신뢰의 문제를 완화하는 데 도움이 되며, 지속적인 관심의 대상이기도 합니다. 예를 들어, 애플의 새로운 신용카드 사업은 성차별적인 신용대출 정책으로 비난을 받았고, 아마존은 여성차별 논란으로 인공지능 채용 프로그램을 폐기하기도 했습니다.
하지만 동시에 AI 모델의 의사결정 과정, 알고리즘에 대한 투명한 공개 역시 그 자체로 리스크를 내포하고 있다는 것도 분명해지고 있습니다. 작동 원리에 대한 설명(Explanations)은 해킹될 수 있고, 추가 정보를 공개할수록 해당 AI가 악의적 공격에 더 취약해질 수 있으며 결국 해당 기업으로서는 관련 소송이나 규제 리스크에 휘말릴 가능성이 더 커지기 때문입니다.
이를 AI의 "투명성 역설(transparency paradox)"이라고 부르는데요, AI에 대한 더 많은 정보를 생성하면 할수록 실질적 이점도 얻을 수 있지만, 새로운 리스크도 야기할 수 있기 때문입니다. 이러한 모순을 극복하기 위해, 기업은 AI 리스크와 이들이 생성하는 정보에 대해서 어떻게 관리해야 하는지, 그러한 정보가 어떻게 공유, 보호되어야 하는지 신중히 생각할 필요가 있습니다.
최근 발표된 하버드와 UC 어바인대 연구 논문에서는 소위 인공지능의 블랙박스 알고리즘(black box algorithms)을 설명하는데 사용되는 잘 알려진 기술인 LIME과 SHAP의 변형이 어떻게 해킹될 수 있는지에 초점을 맞추고 있습니다.
LIME(Local Interpretable Model-agnostic Explanations) 기술을 발표한 2016년 연구 논문에서는 이해하기 어려운 한 이미지에서 LIME이 서로 다른 객체들을 어떻게 분류, 인식하는지를 설명했는데요. 기타 브릿지와 프렛보드의 일부분을 가지고 어쿠스틱 기타를 식별하고, 얼굴 오른쪽 부분의 독특한 안면 특징으로 리트리버 강아지를 식별해냈습니다.
LIME과 설명 가능한 AI(explanable AI, 인공지능이 내린 결정이나 답을 AI 스스로가 사람이 이해하는 형태로 설명하고 제시할 수 있는 형태)를 추구하는 움직임은 불투명한 알고리즘을 보다 투명하게 만들 수 있는 돌파구라는 찬사를 받아왔습니다. 사실, 설명 가능한 AI의 이점은 많은 학자와 기술 전문가들 모두에게 호평을 받고 널리 받아들여져 오고 있습니다.
그러나 LIME과 SHAP(SHapley Additive exPlanations)에 대한 새로운 공격 가능성은 간과되어온 이들 기술의 단점에 이제 주목해야 한다는 것을 말해주고 있습니다. 설명이 의도적으로 조작될 수 있어 AI 모델뿐만 아니라 판단 이유와 결과에 대한 설명에 대해서 조차 신뢰를 잃을 수 있기 때문입니다.
AI 투명성의 잠재적 리스크를 보여주는 최근 연구들에서 보면, 머신러닝 알고리즘에 대한 정보의 노출이 악의적 공격에 얼마나 더 취약하게 되는지를 설명하고 있습니다. 한편 UC 버클리대 연구에서는 설명만으로도 전체 알고리즘을 도난당할 수 있음을 증명해 보이기도 했습니다.
보안, 프라이버시 전문가들이 AI에 대해 최근 많은 연구를 진행하면서 역시 동일한 결론들을 제시하고 있습니다. 즉 AI 모델과 알고리즘의 생성자들이 더 많은 정보를 노출할수록, 악의적 공격자들은 더 많은 해를 입힐 수 있다는 것입니다. 이는 인공지능 모델과 알고리즘 생성에 대한 내부 작업 정보를 공개하는 것이 실제로 보안 수준을 저하시키고 회사는 더 많은 책임에 노출된다는 것을 의미합니다. 쉽게 말해 모든 데이터는 결국 리스크를 수반한다는 말입니다.
한가지 다행스러운 점은, 많은 기업과 조직들이 보안, 프라이버시, 리스크관리 등 여러 분야에서의 ‘투명성 역설’ 문제를 오랫동안 직면하고 경험해 왔다는 것입니다, 이제 AI경영에 대해서도 이러한 경험과 방식을 적용하는 것이 필요하다고 봅니다.
우선, 인공지능을 도입, 활용하려는 회사들은 투명성에는 반드시 비용이 수반된다는 것을 인식해야 합니다. 물론 투명성을 달성할 가치가 없다고 말하려는 것은 아니며, 다만 투명성에는 심도 있는 이해가 필요한 단점들도 내재되어 있다는 것을 강조하고 싶습니다. 이러한 투명성 비용이 설명 가능한 AI 모델을 어떻게 적용해야 하고 어느 수준까지 관련 정보를 이해관계자들과 공유해야 하는지를 판단하고 제어하는 리스크관리 체계와 반드시 통합되어야 한다는 것 중요합니다.
둘째로, 기업은 정보보안이 AI경영에서 점점 더 고민하고 걱정해야 하는 사안이 되고 있다는 것을 다시 한번 인식해야 합니다. AI가 비즈니스 전반에 더욱 광범위하게 채택, 활용됨에 따라, 앞으로 더 많은 보안 취약성과 버그가 발견될 것은 당연한데요. 또한 장기적 관점에서도 AI 도입의 가장 큰 장벽은 보안이 될 것으로 예상되기 때문입니다.
마지막은 AI를 채택, 개발하고 비즈니스에 배치, 활용할 때 가능한 빠른 단계에서부터, 그리고 자주 리스크 관리와 법무 담당 조직을 참여시키는 것이 중요하다는 점입니다. 리스크관리, 그중에서도 특히 법무 부서를 참여시켜 기업은 상상할 수 있는 인공지능 모델의 모든 취약성을 사전에 철저히 조사할 수 있는 내부적으로 개방되고 법적으로도 보호된 환경을 조성할 수 있고, 이러한 활동을 통해 결국 손실을 미리 예방할 수 있습니다.
실제로 기업 내 법무 담당 변호사들은 의뢰인이 잠재적 범법행위나 잘못을 숨기지 않고 내재된 리스크들을 충분히 이해하고 협조하도록 유도하고 수집된 정보들이 법적으로 보호받는 원칙 즉 비밀유지특권(legal privilege) 하에 업무를 수행하고 있습니다. 예를 들어, 사이버보안(cybersecurity) 이슈가 발생할 때, 사내 법무담당 변호사들은 사전 리스크 평가는 물론 심지어 사건 발생 후 대응 활동에 까지도 깊숙이 관여하는 것이 매우 일반화되어 있으며, AI에 있어서도 같은 접근법이 적용돼야 한다고 봅니다.
데이터 애널리틱스의 세계에서 데이터는 더 많을수록 좋다고 가정하는 경우가 많습니다. 하지만 리스크관리 관점에서 데이터는 그 자체가 종종 법적 책임의 원천 중 하나로도 간주되며, AI경영 시대에서 간과해서는 안되는 사실이 되어가고 있음을 강조하고 싶습니다.
