AI가 스스로를 설명 못 한다면, 그걸 믿어도 될까?
Responsible AI
2024년 3월, 마이크로소프트의 한 AI 엔지니어가 미국 연방거래위원회(FTC)에 편지를 썼어요.
자기 회사가 만든 AI 이미지 생성기를 몇 달 동안 테스트했는데, 무해한 프롬프트를 입력해도 폭력적이거나 성적인 이미지가 나왔거든요. 내부에 여러 번 보고했지만 달라진 건 없었어요. 결국 외부에 공개할 수밖에 없었다고.
마이크로소프트에 "책임 있는 AI 원칙"이 없었을까요? 아니요. 멋진 원칙 문서가 있었어요. 콘텐츠 정책도 있었고, 안전 필터도 있었고. 그런데 그게 실제로 작동하지 않았던 거예요.
이게 지금 AI 업계의 현실이에요. 원칙은 다 있는데, 실행은 없다.
"Responsible AI(책임 있는 AI)"라는 말, 많이 들어보셨죠? 근데 이게 정확히 뭘 의미하는지 물으면, 대부분 "뭐... 윤리적으로 AI를 쓰는 거?" 정도로 답해요.
솔직히 저도 처음엔 그랬어요.
그런데 파고 들어가 보니까, 결국 이 다섯 가지로 수렴하더라고요. UNESCO든, 구글이든, 마이크로소프트든, 어떤 프레임워크를 봐도 같은 키워드가 반복돼요.
공정성(Fairness). AI가 특정 집단에 불리한 결과를 내지 않는 것. 의도가 아니라 결과로 증명해야 해요. 2019년에 애플 신용카드가 여성에게 낮은 한도를 제시한다는 의혹이 터졌을 때, 애플의 의도는 중요하지 않았어요. 알고리즘이 만든 결과가 문제였죠.
투명성(Transparency). AI가 왜 그런 결정을 내렸는지 설명할 수 있는 것. 딜로이트 조사에 따르면, 임원의 84%가 AI의 설명 가능성이 도입에 필수적이라고 답했어요. 소비자의 72%는 AI 투명성에 우려를 표시했고요.
책임성(Accountability). AI가 잘못됐을 때 누가 책임지는지 명확한 것. 위원회도 아니고, 정책 문서도 아니고. 이름이 있는 사람이요.
프라이버시(Privacy). 데이터를 수집한다면, 뭘 수집하는지, 왜 수집하는지, 어떻게 보호하는지 설명할 수 있어야 해요.
안전성(Safety). AI 시스템이 쉽게 조작되지 않는 것. 마이크로소프트 사례에서 사용자들은 글자를 아래첨자로 바꾸거나 유명인 이름 대신 외모 묘사를 입력해서 안전 필터를 우회했어요. 필터가 있다고 안전한 게 아니에요.
"그래, 원칙은 알겠는데, 왜 지금 이게 급한 건데?" 이런 생각 드시죠?
세 가지 이유가 있어요.
첫째, 법이 온다. EU AI Act의 핵심 시행일이 2026년 8월 2일이에요. 고위험 AI 시스템에 대한 규칙이 본격적으로 적용되기 시작하고, 위반 시 최대 3,500만 유로 또는 전 세계 매출의 7%가 과징금으로 부과돼요. 미국에서도 45개 이상의 주가 AI 관련 법안을 검토 중이에요. "우리는 유럽 사업 안 하는데요"라고 생각할 수 있는데, GDPR이 그랬듯 EU AI Act도 글로벌 표준이 될 가능성이 높아요.
둘째, 돈이 된다. 성숙한 책임 AI 프레임워크를 가진 기업의 AI 투자 ROI는 13%예요. 업계 평균은 5.9%고요. 신뢰가 도입을 만들고, 도입이 수익을 만들어요.
셋째, 실수의 대가가 너무 크다. 차별 소송 합의금 36만 5천 달러, 챗봇 오류 책임 배상 812달러, EU 과징금 수천만 유로. 이건 가상 시나리오가 아니에요. 이미 일어난 일들이에요.
그럼 실제로 뭘 해야 할까요?
사실 이 부분이 가장 궁금하셨을 거예요. 원칙은 알겠는데, 월요일 아침에 뭘 하느냐.
1. AI 시스템 전수조사부터 하세요. 대부분의 회사는 자기네가 어떤 AI를 쓰고 있는지 정확히 몰라요. 관리할 수 없는 건 통제할 수도 없어요. 운영 중인 AI, 개발 중인 AI, 전부 목록으로 만들고 위험 등급을 분류하세요.
2. 설명 가능성을 설계에 넣으세요. LIME과 SHAP이라는 도구가 있어요. LIME은 개별 예측을 설명해요 — 입력값을 살짝 바꿔보면서 "이 요소가 결과에 얼마나 영향을 미쳤는지"를 보여줘요. SHAP은 게임 이론을 활용해서 각 특성이 예측에 기여한 정도를 수치로 알려줘요. 은행은 이걸로 대출 편향을 잡아내고, 병원은 진단 모델을 검증해요. 중요한 건 — 문제가 터진 후에 설명을 만드는 게 아니라, 처음부터 설명 가능한 구조로 만드는 거예요.
3. Model Card를 도입하세요. 구글이 만든 개념인데, AI 모델의 "영양 성분표"라고 생각하면 돼요. 이 모델이 뭘 하는지, 어떤 데이터로 학습했는지, 어떤 그룹에서 성능이 떨어지는지, 알려진 한계가 뭔지를 표준화된 형식으로 문서화하는 거예요. 이게 없다는 건 자기 AI에 대해 기본적인 질문에도 답할 수 없다는 뜻이에요.
4. 거버넌스를 만드세요. 혼자 하지 마세요. 기술팀만으로는 안 돼요. 법무, 사업, 윤리 — 다양한 관점이 필요해요. 배포 전 체크리스트를 만들고, 에스컬레이션 경로를 정하고, 정기 감사를 돌리세요.
5. 배포 후에도 모니터링하세요. 테스트 데이터에서 완벽했던 모델이 실제 환경에서 조용히 실패하는 일은 너무 흔해요. 공정성 지표, 성능 드리프트, 예상치 못한 동작을 지속적으로 추적해야 해요.
한 가지 더 생각해볼 게 있어요.
"Responsible AI"라는 말이 자칫 대기업이나 할 수 있는 거창한 프로젝트처럼 들릴 수 있는데요. 사실 핵심은 되게 단순해요.
"내가 만든(또는 쓰는) AI가 왜 이런 결정을 내렸는지, 나는 설명할 수 있는가?"
이 질문에 "네"라고 답할 수 있다면, 당신은 이미 책임 있는 AI를 실천하고 있는 거예요. "아니오"라면 — 그게 어디서부터 시작해야 하는지를 알려주는 신호예요.
EU AI Act 시행일까지 4개월도 안 남았어요. 그런데 이건 법 때문에 하는 게 아니에요. 우리가 만드는 기술이 실제로 사람들에게 영향을 미치니까요. 대출을 거절당하는 사람, 이력서가 걸러지는 사람, 의료 진단을 받는 사람 — 그 사람들에게 "AI가 그렇게 판단했으니까요"는 답이 되지 않아요.
설명할 수 있는 AI를 만드세요. 그게 책임이에요.