윤리가 없으면 AI도 흉기다

정보능력 + 직업윤리 CC.5

by 인력경영학자 이윤선

Aug 3. 2025

기술은 사람을 대신할 수 있다.
그러나 윤리는 사람만이 만들 수 있다.

Convergence Capabilities (5/6회차)

5. 정보능력 + 직업윤리

26화. 윤리가 없으면 AI도 흉기다

“왜 이 광고가 차별적이지?”

“이거, 뭔가 이상하지 않아?”

회의실에 영상이 띄워졌을 때, 처음으로 그 말을 꺼낸 사람은 막내 디자이너였다. 영상은 우리 팀이 한 달 동안 준비해온 ‘신제품 AI 기능 소개 광고’였고, 음성은 AI로 생성된 내레이션, 이미지 역시 생성형 도구를 통해 만든 것이었다. 뿌듯했다. 별도의 영상 제작사 도움 없이 순전히 사내 인력만으로, 그것도 퇴근 후 몇 주간 몰입한 결과였으니까.

그런데 문제는 영상 중간에 등장한 한 장면이었다. ‘정리정돈을 잘 못하는 남성 직장인’의 이미지 위에 ‘AI가 돕는 똑똑한 정리 비서’라는 내레이션이 겹쳐졌는데, 이를 본 몇몇 동료는 당황한 표정을 감추지 못했다. 누군가는 “남성을 무능하게 묘사한 게 아니냐”고 했고, 다른 누군가는 “성별 역할 고정 관념을 유도하는 표현 같다”고 지적했다.

기획자인 나는 당황했다. 전혀 그런 의도는 아니었고, 오히려 최대한 다양한 데이터를 학습시킨 AI에게 영상 제작을 맡긴 터였다. “AI가 만든 건데요...”라고 항변하려다 멈췄다. 바로 그 순간이었다. 누군가 조용히 말했다.

“그러니까 문제지. AI가 만든 걸 그대로 쓴 게.”

회의는 순식간에 분위기가 바뀌었다. ‘우리의 AI 활용 방식에 윤리적 기준이 있었냐’는 질문이 회의실 공기를 무겁게 만들었다. 무의식적으로, 우리는 ‘기술은 중립적이다’라는 가정을 깔고 콘텐츠를 만들었다. 하지만 그 결과물이 실제로 사회적 의미를 가졌을 때, 중립이라는 말은 무책임으로 바뀌었다.

나는 멍한 상태로 노트북을 닫았다. 영상 속의 어떤 장면보다도 그 한마디가 더 인상 깊게 남았다.

“AI가 만든 걸 그대로 쓰는 게 문제지.”

무엇이 문제였을까? 도대체 어떤 기준이 부족했기에, 우리가 만든 영상은 누군가에게 상처가 되었을까?

그날 이후, 나는 ‘정보의 홍수 속에서 윤리는 어떻게 살아남는가’라는 질문을 붙잡게 되었다. 아무도 악의가 없었는데도 생긴 이 불편함, AI 기술로 빠르게 만들어졌지만 누군가를 소외시키는 메시지들. 디지털 콘텐츠 시대에 우리는 이제 '정보를 생성할 수 있는 능력'보다, '정보를 선택하고 거를 수 있는 기준'이 더 중요해진 시대에 살고 있는 건 아닐까?

정보는 많지만, 기준은 없었다

“우린 데이터를 바탕으로 만든 것뿐이야.”

그날 저녁, 퇴근 후 남은 몇 명이 사내 카페에 둘러앉았다. 말이 많지 않았다. 제작 총괄을 맡았던 마케팅 팀장은 음료에 빨대를 휘저으며 조용히 중얼거렸다. “이제 뭐가 문제인지조차 헷갈린다…”고.

사실 틀린 말은 아니었다. 우리는 ‘실제 검색 트렌드’, ‘고객 후기 데이터’, ‘온라인 설문 결과’까지 기반으로 설정한 시나리오였다. 영상에 들어간 이미지와 음성도 모두 생성형 AI 툴을 사용해 완성했다. 처음부터 끝까지, 데이터 기반이었다.

그런데 그 결과는 어땠나. 회의실에서의 정적, 콘텐츠 리뷰에서의 부정적 반응, 브랜드 이미지에 대한 우려까지. 누구도 의도하지 않았지만 모두가 책임을 회피할 수 없는 상황이었다.

나는 가만히 커피잔을 내려놓고 생각했다. 정말 우리는 기준 없이 만들었을까?

생각해보니, 기준은 있었다. 하지만 그것은 윤리적 기준이 아니라 기술적 기준, 즉 ‘더 자연스럽고’, ‘더 효율적인’ 콘텐츠를 만드는 것이었다. 이 과정에서 우리는 한 번도 ‘이 콘텐츠는 사회적으로 어떤 메시지를 전달할 수 있을까?’, ‘누구를 소외시킬 가능성은 없을까?’ 같은 질문을 던지지 않았다.

그렇다. 우리는 기술을 쓰되, 윤리적 감수성을 소프트웨어에 장착하지 않았다.

그때부터 나는 콘텐츠 제작 도중 어떤 기준이 빠졌는지 되짚기 시작했다. 윤리 매뉴얼? 없다. 민감도 검토 프로세스? 없다. AI 결과물에 대한 2차 검토 시스템? 없다.

모두가 AI를 배우고 있지만, 정작 AI가 만드는 콘텐츠가 사람에게 어떤 영향을 줄지에 대해서는 학습도, 훈련도, 시스템도 없었던 것이다.

우리는 너무 많은 정보를 가지고 있지만, 어떤 것을 써야 하고 어떤 것은 쓰지 말아야 하는지에 대한 ‘선택의 기준’이 없었다. 그리고 그 기준은 기술의 영역이 아니라 ‘윤리’의 영역에 속하는 것이었다.

‘윤리는 마지막에 덧붙이는 것이 아니라, 처음부터 구조로 짜야 하는 것이구나.’

그 순간, 나는 깨달았다. 지금까지 우리는 ‘AI 윤리’라고 하면 법률이나 외부 규제 정도로만 생각했다. 하지만 정작 가장 필요한 윤리는 우리 팀 안에, 우리 조직 안에, 그리고 콘텐츠를 만드는 개인에게 먼저 있어야 했다.

그때부터였다. 나는 회의록과 기획서를 다시 뒤적이기 시작했다. 그리고 첫 문장을 이렇게 바꿨다.

“이 콘텐츠는 누구에게도 차별적이지 않으며, 다양성과 포용을 원칙으로 제작된다.”

작지만, 기준을 다시 세우는 시작이었다.

윤리가 없으면 기술은 흉기가 된다

AI 모델이 점점 정교해지고 있다. 텍스트를 입력하면 설득력 있는 문장이 나오고, 단 몇 초 만에 고화질의 이미지나 영상을 생성해낸다. 감정 분석부터 표정 인식, 심지어는 사람의 말을 예측하는 기술까지 빠르게 보급되고 있다. 우리는 놀라운 시대를 살고 있다. 문제는, 이 모든 기술이 너무도 쉽게 악용될 수 있다는 사실이다.

나는 최근에 강의 준비를 하며 ‘딥페이크 영상’ 사례를 다시 들춰보았다. 처음에는 유명인의 얼굴을 장난처럼 합성하는 데 그쳤지만, 이제는 일반인을 대상으로 한 영상 조작과 음성 조작이 사회적 문제로 부상했다. 누구든 클릭 몇 번이면 타인의 얼굴로 가짜뉴스를 만들 수 있는 세상. 더 심각한 것은, 이 모든 기술이 ‘정확히 작동하고 있다는 점’이다.

기술은 흠잡을 데 없이 완벽했지만, 그걸 쓰는 인간의 윤리가 무너졌을 때, 기술은 그 자체로 흉기가 될 수 있었다.

한 회의에서, 우리 팀은 자사 마케팅 캠페인에 사용할 AI 챗봇의 응답 시나리오를 검토하고 있었다. 대화 흐름은 매끄러웠고, 고객 응대는 매우 자연스러웠다. 하지만 어떤 문장에서 누군가 지적했다.
“이 표현, 특정 성별을 암묵적으로 전제하고 있어요.”
순간 회의실이 조용해졌다. 아무도 인식하지 못한 부분이었다.

문제는 이 문장이 시스템 안에 이미 포함되어 있었고, 수천 번의 대화에서 고객들에게 노출되고 있었다는 것이다. 모두가 고개를 숙였다. 기술을 검수한 우리는 기술의 성능만 봤고, 그 안에 담긴 가치와 의미는 읽지 않았다.

그 순간 나는 떠올렸다. 기술은 ‘정확’하다고 평가받지만, ‘정당’하다고는 말해주지 않는다. 윤리는 기술의 성능이 아니라, 그 사용의 맥락과 의도를 묻는 일이다.

윤리 없는 기술은 공감 능력을 잃은 ‘무감각한 속도’를 낳는다.
윤리 없는 자동화는 효율만을 좇는 냉정한 결정을 재촉한다.
윤리 없는 생성 기술은 누군가의 고통을 이미지화하고, 그걸 콘텐츠라 부른다.

기술이 발전할수록 우리는 '무엇을 할 수 있는가'보다 '무엇을 해서는 안 되는가'를 말할 수 있어야 한다.

나는 이 지점을 우리 팀에 강조하기 시작했다. “우리의 기술이 누군가에게 상처가 되지 않도록, 하나의 프롬프트도 기준을 만들자”고. ‘기술을 신뢰’하는 조직이 아니라 ‘기술을 사용한 판단에 책임지는 조직’을 만들어야 한다고.

이후 우리는 작업 시 ‘기술 윤리 체크리스트’를 만들었다.

이 콘텐츠는 특정 집단에 대한 고정관념을 조장하진 않는가?

이 결과는 개인의 사생활이나 프라이버시를 침해하진 않는가?

이 결과물이 왜곡된 사실이나 불명확한 정보를 담고 있진 않는가?

이 기능은 사용자에게 충분한 설명 가능성과 선택권을 제공하는가?

이 체크리스트는 기술 검증이 아니라 윤리 검증을 위한 도구였다.

기술을 만드는 사람만큼, 기술을 사용하는 사람도 윤리적 기준을 갖추어야 한다. 윤리는 기술이 남용되지 않도록 막아주는 ‘디지털 안전벨트’이자, 우리가 사람으로서 지켜야 할 마지막 울타리다.

이후 나는 한 후배에게 이런 말을 남겼다.

“윤리를 의심하지 않아도 되는 기술, 그게 진짜 좋은 기술이야.”

그 말에 후배는 고개를 끄덕였다. 그날, 우리는 기술보다 사람을 먼저 생각하는 팀이 되기로 했다.

AI 윤리의 사례

– 생성 AI 윤리 가이드라인과 ‘EthicAdvisor’ 사례

AI 기술이 빠르게 보급되고 있는 만큼, 전 세계적으로 ‘AI 윤리 가이드라인’에 대한 관심도 급증하고 있다. 특히 생성형 AI(Generative AI)의 발전은 콘텐츠 제작, 고객 응대, 설계, 의료, 교육 등 광범위한 영역에서 혁신을 이끌고 있지만, 동시에 새로운 위험을 양산하기도 한다. 그래서 우리는 "기술이 아니라 기준을 설계해야 할 때"에 이르렀다.

“기술은 통과했지만, 윤리는 통과하지 못했다”

예를 들어, 텍스트 생성 AI가 작성한 기사나 보고서를 인간이 잘못된 판단 근거로 활용할 경우, 그 피해는 특정 개인을 넘어 조직 전체로 확산된다. AI가 생성한 이미지를 활용한 마케팅 콘텐츠가 의도치 않게 인종적 고정관념을 담거나, 성별 편향을 재생산할 수도 있다.
이런 상황에서 '윤리 기준'은 단순한 보조항목이 아니라 의사결정의 필수 조건이 된다.

2023년, OECD와 EU를 비롯한 주요 국제기구들은 공통적으로 아래와 같은 생성 AI 윤리 원칙을 발표했다.

투명성(Transparency): 결과물이 AI에 의해 생성되었음을 명확히 알릴 것

책임성(Accountability): 생성 결과물에 대한 책임 주체를 분명히 할 것

비차별(Non-discrimination): 성별, 인종, 연령 등의 편향을 차단할 기술적 노력

설명 가능성(Explainability): AI가 생성한 결과에 대한 근거를 설명할 수 있어야 함

사생활 보호(Privacy): 개인 정보가 포함되지 않도록 철저한 검토

이러한 가이드라인은 기술의 정당성을 담보하는 첫 단계다. 그러나 실제 업무 현장에서는 "어떤 기술이 문제가 될지", "어디까지 검토해야 할지" 모호한 경우가 많다. 이 지점을 보완하기 위한 시스템이 바로 ‘EthicAdvisor’이다.

‘EthicAdvisor’ – 윤리적 검토를 자동화해주는 AI 보조시스템

‘EthicAdvisor’는 생성형 AI 시스템을 기업 내부에 도입하거나 운영할 때, 각 콘텐츠의 윤리적 위험 요소를 자동으로 탐지하고 피드백해주는 AI 기반 윤리 지원 도구다.

활용 사례 A: 마케팅 콘텐츠 리뷰

국내 한 IT 기업은 ‘EthicAdvisor’를 활용하여 AI가 생성한 캠페인 문구의 감성, 차별성, 성별 편향 여부를 분석했다. 이 시스템은 문장 속에서 특정 성별/직업군/연령군이 반복적으로 연관되는 패턴을 감지하고, “무의식적 편향 가능성 있음”이라는 경고를 띄웠다.

그 결과, 기획팀은 콘텐츠 문장을 재구성했고, 타깃 대상에게 긍정적 피드백을 받을 수 있었다.

활용 사례 B: 보고서 자동 생성 시스템 점검

한 공공기관은 생성 AI를 통해 정책 보고서의 초안을 자동 작성하는 기능을 도입했다. 그러나 초안에는 근거 없는 인용, 누락된 출처, 편향된 데이터 요약 등의 문제가 있었다.
‘EthicAdvisor’는 출처 누락 항목을 리스트업해주고, 각 문단의 사실 근거를 요구하는 형태로 보고서를 수정 제안하였다.

활용 사례 C: 사내 교육 콘텐츠 생성 시의 윤리 검토

기업 내 HR팀에서는 사내 교육 자료를 AI로 제작하던 중, 특정 인물의 사례가 실제 피해자와 유사한 맥락이라는 지적을 받았다.

‘EthicAdvisor’는 사례 서사에 포함된 ‘감정적 트리거’를 감지하고, “트라우마 유발 가능성 있음”이라는 코멘트를 제공했다. 이 피드백 덕분에 해당 사례는 수정되거나 보완되어 사용되었다.

윤리적 기술 사용을 위한 질문 프롬프트

‘EthicAdvisor’나 기타 AI 윤리 도구를 사용할 때 가장 중요한 건, 단순한 ‘탐지 기능’이 아니라 사람이 던지는 윤리적 질문이다. 이 질문들이야말로 기술을 ‘도구’가 아닌 ‘책임의 주체’로 바꾸는 출발점이다.

이 콘텐츠는 누군가를 배제하거나 낙인찍지 않는가?

이 결과물은 사용자의 선택권을 충분히 보장하고 있는가?

우리는 이 기술이 실패했을 때 어떤 책임을 질 준비가 되어 있는가?

이처럼 AI 윤리 시스템은 단순한 체크리스트를 넘어서, 업무의 설계 구조를 다시 보게 만드는 리마인더로 작동한다.
기술을 믿는 것보다, 기술을 사용한 우리가 윤리적 기준을 갖추는 것이 더 중요해지는 시대다.

정리 및 제언

– AI 시대, 윤리는 기술보다 더 빨리 진화해야 한다

“기술은 하루아침에 진보하지만, 윤리는 시간을 먹고 자란다.”
이는 기술자이자 철학자인 숀 윌킨슨의 말이다. 그는 어느 강연에서 “윤리적 기준 없이 작동하는 기술은 총알 없는 총이 아니라, 방향을 잃은 미사일이다”라고 말했다. AI 시대를 살아가는 우리는 이제, ‘기술을 얼마나 잘 쓰는가’보다 ‘기술을 어떻게 써야 하는가’에 대해 더 많이 고민해야 할 시점에 와 있다.

윤리는 늦어도 되는 것이 아니라, 먼저 있어야 할 것이다

기술은 도구일 뿐이다. 기술은 스스로 의도를 갖지 않는다. 의도는 사람에게서 나온다. 하지만 지금 우리는 기술의 속도에만 이끌려 사람의 의도, 맥락, 배려를 점점 놓치고 있다.

고객 응대에 사용되는 AI가 상처를 주는 말을 자동응답으로 전송한다면?

채용 과정에서 사용된 AI가 과거 데이터를 학습해 성별 편향을 드러낸다면?

자동 보고서 작성 기능이 실제 존재하지 않는 통계를 그럴듯하게 생성했다면?

이런 오류들은 단순한 ‘기술 결함’이 아니라, 윤리의 빈자리에서 발생한다. 그 자리를 채우지 않는 한, 기술은 언제든 ‘악용 가능성’을 품고 있다.

기술을 설계하는 만큼, 윤리를 디자인하라

많은 조직이 AI를 도입하면서도 ‘윤리는 나중에 정리하면 되지’라고 생각한다. 하지만 이제는 반대로 접근해야 한다.
윤리를 먼저 묻고, 그 기준 위에 기술을 설계해야 한다.

새로운 시스템을 만들기 전에, 어떤 위험을 막을 수 있는지 먼저 검토해야 한다.

데이터 수집과 활용의 전 과정에서, 투명성과 설명 가능성을 구조화해야 한다.

기술 결과물을 사람과 공유하기 전에, 이해와 동의의 구조를 내장해야 한다.

이 모든 과정은 번거롭고, 시간이 들고, 결과적으로 불편해 보일 수도 있다. 하지만 그것이 사람을 위한 기술의 기본 조건이다. 우리는 AI를 통해 더 나은 결정을 내릴 수 있는 시대에 살고 있다. 하지만 ‘더 나은 판단’은 언제나 윤리적 기준 위에서만 가능하다.

윤리는 시스템 안의 사람을 지켜주는 힘이다

AI가 조직 곳곳에 들어오면서, 사람은 점점 시스템 안의 ‘노출된 존재’가 된다. 어떤 말이 기록되고, 어떤 행동이 분석되며, 어떤 선택이 추천되는지 모르는 상태에서 우리는 매일 데이터를 남긴다.
이럴수록 윤리는 보호막이다. 기술로부터 사람을, 효율로부터 존엄을 지켜주는 장치다.