13화 악마의 알고리즘 vs 천사의 알고리즘

편향과 차별을 막는 윤리적 코딩의 힘

Sep 11. 2025

2016년 마이크로소프트가 자랑스럽게 내놓은 AI 채팅봇 '테이(Tay)'는 24시간 만에 역사상 가장 빠른 퇴장을 기록했어요. "젊은이들과 친근하게 대화하는 AI"로 기획되었던 테이는 출시 하루 만에 인종차별과 혐오 발언으로 가득한 괴물이 되어버렸거든요. 악의적인 사용자들이 고의로 나쁜 생각과 말들을 가르쳤고, 테이는 그것을 그대로 학습해서 따라 했어요. AI인 테이는 그런 것들을 걸러낼 판단력이 없었으니까요. 이 사건은 AI의 무서운 진실을 보여줬죠. 기술 자체는 중립적이지만, 잘못 사용하면 악마가 될 수도 있다는 것 말이에요.

그렇다면 천사의 알고리즘은 무엇일까요? 사람들을 차별하지 않고, 편견을 퍼뜨리지 않으며, 모든 사람에게 공정한 기회를 주는 알고리즘이에요. 하지만 이런 알고리즘을 만드는 건 생각보다 어려워요. 인간이 만든 데이터에는 이미 우리 사회의 편견과 불평등이 그대로 담겨 있거든요.

AI 윤리의 4가지 원칙을 살펴보면 이런 문제들을 어떻게 해결할 수 있는지 알 수 있어요. 첫 번째는 투명성이에요. AI가 어떤 방식으로 판단을 내리는지 사람이 이해할 수 있어야 한다는 뜻이죠. 대출 심사 AI가 나의 신청을 거절했다면, 왜 거절했는지 구체적인 이유를 알 수 있어야 해요. "알고리즘이 그렇게 결정했다"는 애매한 답변으로는 안 되는 거죠.

두 번째는 공정성이에요. 성별, 나이, 인종, 지역 같은 이유로 차별받지 않아야 한다는 원칙이죠. 하지만 여기서 함정이 있어요. 알고리즘에서 성별 정보를 제거한다고 해서 성별 차별이 사라지는 게 아니거든요. AI는 다른 정보들을 조합해서 성별을 추측할 수 있어요. 예를 들어 화장품 구매 이력, 육아휴직 경험, 특정 취미 활동 같은 것들로 말이에요.

세 번째는 책임이에요. AI가 잘못된 판단을 했을 때 누가 책임져야 하는지 명확해야 한다는 거예요. 자율주행차가 사고를 냈을 때, 의료 AI가 오진을 했을 때, 채용 AI가 우수한 지원자를 떨어뜨렸을 때 누구한테 책임을 물어야 할까요? 개발자? 사용자? 회사? 아니면 AI 자체? 이런 질문들에 대한 명확한 답이 있어야 해요.

네 번째는 안전성이에요. AI가 예상치 못한 위험한 행동을 하지 않도록 보장하는 거죠. 특히 생명과 직결된 의료나 교통 분야에서는 더욱 중요해요. 99% 정확도도 충분하지 않아요. 100명 중 1명이 잘못된 치료를 받거나 사고를 당한다면 큰 문제니까요.

편향 탐지 실험을 직접 해보면 이런 문제들을 더 생생하게 느낄 수 있어요. 구글이나 빙에서 "CEO"라는 단어로 이미지 검색을 해보세요. 대부분 중년 백인 남성의 사진이 나올 거예요. 그다음 "간호사"로 검색해 보면 대부분 젊은 여성의 사진이 나오죠. 이런 결과가 나오는 이유는 인터넷에 올라온 기존 이미지들이 이미 편향되어 있기 때문이에요.

얼굴 인식 기술의 편향도 심각해요. MIT의 조이 부올람위니 연구원이 발표한 연구에 따르면, 주요 얼굴 인식 시스템들이 백인 남성은 99% 정확도로 인식하지만 흑인 여성은 35%밖에 인식하지 못한다고 해요. 학습 데이터에 백인 남성의 사진이 압도적으로 많았기 때문이죠. 이런 기술이 공항 보안이나 범죄 수사에 사용된다면 특정 인종이나 성별이 더 많은 의심을 받게 되는 거예요.

언어 모델의 편향도 볼까요? GPT 같은 AI에게 "의사는"이라고 시작하는 문장 완성을 부탁하면 "그는"이라는 대명사를 쓸 확률이 높고, "간호사는"이라고 시작하면 "그녀는"이라는 대명사를 쓸 확률이 높아요. 학습 데이터에 포함된 텍스트들이 이미 성별 고정관념을 반영하고 있기 때문이죠.

그렇다면 어떻게 편향 없는 알고리즘을 만들 수 있을까요?

첫 번째 방법은 다양한 데이터를 수집하는 거예요. 특정 집단의 데이터만 많이 포함되지 않도록 균형을 맞추는 거죠. 두 번째는 다양한 배경을 가진 사람들이 개발 과정에 참여하는 거예요. 같은 배경을 가진 사람들끼리만 만들면 그들의 시각에서만 바라보게 되거든요. 세 번째는 지속적인 모니터링과 개선이에요. 알고리즘이 실제로 사용되는 과정에서 편향이 나타나는지 계속 확인하고, 문제가 발견되면 즉시 수정하는 거예요. 네 번째는 사용자 피드백을 적극 반영하는 거예요. 차별받았다고 느끼는 사람들의 목소리에 귀 기울이고, 그들의 경험을 개선에 반영하는 거죠.

윤리 임팩트 캔버스를 작성해 보는 것도 좋은 연습이에요. 9칸으로 나뉜 캔버스에 만들고 싶은 AI 서비스의 윤리적 영향을 분석해 보는 거예요. 누가 혜택을 받고, 누가 피해를 받을 수 있는지, 어떤 편향이 발생할 수 있는지, 프라이버시는 어떻게 보호할지 같은 것들을 미리 생각해 보는 거죠.

학생들의 진로를 추천해 주는 AI를 만든다고 해볼까요? 이 AI가 가져올 수 있는 긍정적 영향은 학생들이 자신에게 맞는 진로를 찾는 데 도움을 받는 것이고, 부정적 영향은 AI의 추천에만 의존해서 다양한 가능성을 탐색하지 않는 것일 수 있어요. 또 성별이나 가정환경에 따른 편향이 생길 수도 있고, 학생들의 개인정보가 유출될 위험도 있죠.

Hacks for Humanity 같은 해커톤에 참여해 보는 것도 좋은 경험이에요. 사회 문제를 해결하는 기술을 만드는 이벤트인데, 전 세계 젊은 개발자들이 모여서 며칠 동안 집중적으로 프로토타입을 만들어봐요. 난민 문제, 교육 불평등, 의료 접근성 같은 주제들을 기술로 해결하려고 노력하죠.

한국에서도 비슷한 행사들이 많이 열려요. 다양한 기관에서 주최하는 '소셜벤처 경연대회'나 각 대학에서 여는 사회혁신 경진대회 같은 것들이 있어요. 코딩을 못해도 괜찮아요. 기획자, 디자이너, 마케터 역할로도 참여할 수 있거든요.

당신이 바로잡고 싶은 편향은 무엇인가요? 학교에서 겪는 불공정한 대우, 사회에서 보는 차별적 시선, 미디어에서 반복되는 고정관념 같은 것들 말이에요. 이런 문제들을 기술로 해결할 수 있는 방법을 생각해 보세요. 완벽한 해결책이 아니어도 괜찮아요. 문제를 인식하고 개선하려고 노력하는 것 자체가 중요하거든요.

AI 윤리는 우리 삶과 동떨어진, 어려운 철학적 문제가 아니에요. 우리 일상에서 마주치는 구체적인 문제들이죠. 친구가 SNS에서 악플을 당할 때, 온라인 쇼핑에서 성별에 따라 다른 광고를 받을 때, 취업 과정에서 학벌이나 출신 지역으로 차별받을 때 느끼는 그 불공정함을 기술로 해결하려는 노력이 바로 윤리적 코딩의 시작이에요.