17. AI는 당신의 신용을 차별한다

알고리즘 프로파일링과 금융 심사 편향성

Oct 1. 2025

"인간의 판단이 개입될 여지가 없는, 데이터에 기반한 절대적으로 공정한 신용평가. 이는 인공지능(AI)이 금융의 영역에 들어서며 우리에게 약속했던 유토피아였다. 더 이상 학연, 지연, 혹은 심사관의 주관적 편견에 의해 대출이 거절되는 일 없이, 오직 개인의 상환 능력과 의지만이 객관적인 수치로 평가받는 시대가 열릴 것이라 믿었다. 그러나 우리는 그 약속의 이면에서, AI가 인간의 가장 깊숙한 편견을 학습하고 증폭시켜 보이지 않는 족쇄를 채우는 ‘알고리즘 차별’이라는 서늘한 디스토피아와 마주하고 있다."

이 새로운 차별의 중심에는 AI 기반의 ‘알고리즘 프로파일링’이 있다. AI는 소득이나 부채 같은 전통적인 금융 정보뿐 아니라, 우리의 온라인 쇼핑 내역, SNS 활동, 통신비 납부 패턴과 같은 일상의 모든 궤적을 샅샅이 훑어 신용도를 재단한다.¹ 이 과정은 금융 이력이 부족한 사회초년생에게 새로운 기회의 문을 여는 긍정적인 측면도 있지만, 동시에 데이터를 통해 훨씬 더 체계적으로 낙인을 찍는 판도라의 상자이기도 하다.

AI는 가치중립적인 계산기가 아니다. 과거 데이터에 새겨진 차별의 역사를 기계적으로 학습하고 이를 미래에도 적용할 가장 효율적인 규칙으로 인식할 뿐이다. 객관성이라는 과학의 외피를 쓴 AI가 어떻게 우리의 헌법적 가치를 침해하고, 법의 보호망을 무력화시키며, 궁극적으로는 사회적 이동의 사다리를 걷어차는 ‘디지털 카스트’를 구축하는가? 이 질문에 답하기 위해 우리는 신용 알고리즘이라는 블랙박스의 가장 깊은 곳을 법의 프리즘으로 들여다보아야 한다.

알고리즘의 법정, 현대판 카스트를 공고히 하다

1. 객관성의 가면 뒤에 숨은 보이지 않는 낙인

전통적인 신용평가는 은행 거래, 카드 사용 내역, 연체 기록 등 정형화된 금융 이력에 의존했다. 이는 마치 한 사람의 과거 성적표만으로 미래의 가능성을 재단하는 것과 같아서, 금융 이력이 부족한 청년이나 주부 등은 정당한 평가를 받기 어려웠다. 전통적 신용평가가 과거의 정형화된 금융 이력에 의존해 씬 파일러(Thin Filer)²와 같은 이들을 정당하게 평가하지 못했다면, AI 신용평가는 통신료 납부 내역, 온라인 쇼핑 패턴, SNS 활동, 심지어 모바일 사용 습관과 같은 비금융 대안 데이터까지 신용평가 모델에 활용한다. AI 신용평가는 과거의 ‘금융 거래 기록’ 중심 평가에서 벗어나 개인의 ‘일상 행동 데이터’까지 포함하는 방대한 빅데이터를 분석하여 미래의 상환 능력을 예측한다는 점에서 근본적인 차이가 있다. 이는 과거의 기록이 아닌 현재의 삶의 방식을 통해 미래의 신용도를 예측하는 완전히 새로운 패러다임의 전환이다.

이러한 혁신은 전적으로 AI 알고리즘의 힘에 기인한다. AI 기반 신용평가의 핵심인 ‘알고리즘 프로파일링’은 개인의 데이터를 분석하여 그 특성을 규정하고 미래의 신용도를 예측하는 자동화된 과정이다.³ AI는 수천 가지 변수들 사이에서 인간이 발견하지 못했던 미세한 상관관계를 찾아내어 특정 개인이 미래에 채무를 불이행할 확률을 계산해 낸다.⁴ 표면적으로 이 과정은 인간의 주관을 배제하고 데이터에만 기반하기에 더없이 객관적으로 보인다.

그러나 바로 그 데이터가 이미 사회적 편견으로 오염되어 있다면 어떨까? 역설적으로 인간 사회의 편견을 그대로 학습하여 증폭시키는 편향성(Bias)의 함정에 빠지기 쉬울 것이다.⁵ 알고리즘 편향성이란 AI 모델이 학습한 데이터에 내재된 사회적·역사적 편견을 그대로 답습하고 강화하여 특정 집단에게 체계적으로 불공정한 결과를 내놓는 현상을 말한다. AI는 인간처럼 ‘의도’를 가지고 차별을 하지는 않지만, 결과적으로 과거의 차별을 ‘수학적으로’ 재현하고 고착화시키는 역설을 낳는다. 이러한 알고리즘 차별은 기존의 인간에 의한 차별보다 훨씬 더 교묘하고 파괴적인 양상을 띤다. 인간 심사관의 편견은 소수에게 영향을 미치지만, 알고리즘의 편견은 단 몇 초 만에 수백만 명에게 체계적이고 일관된 불이익을 가할 수 있다.

또한 AI는 과거 데이터에 내재된 특정 지역 거주민이나 특정 직업군에 대한 차별적 대출 관행을 ‘위험 신호’로 학습하고 이를 현재의 개인에게 그대로 적용한다.⁶ 2019년 동일한 조건의 부부에게 남편이 아내보다 20배 높은 신용 한도를 부여한 ‘애플카드 성차별 논란’은 AI가 성별과 같은 민감정보를 직접 사용하지 않더라도 소비 패턴 등 대리 변수(proxy variable)⁷를 통해 사실상 특정 집단을 차별할 수 있음을 보여준 대표적 사례다.⁸

더욱 심각한 문제는 AI의 판단 근거가 복잡한 신경망 속에 숨겨진 ‘블랙박스’와 같아 피해자가 차별의 원인을 입증하고 자신의 권리를 구제받기가 극히 어렵다는 데 있다. 차별의 책임이 편향된 데이터를 제공한 기관, AI 모델을 설계한 개발자, 이를 사용한 금융기관 중 누구에게 있는지 불분명한 ‘책임의 공백’ 상태는 피해자를 더욱 깊은 무력감에 빠뜨린다.

결국 AI 기반 프로파일링은 ‘객관성’이라는 이름 아래 과거의 차별을 미래에 영속시키는 자동화된 기계 장치가 될 위험을 내포하고 있다. AI는 데이터에 기록된 불평등을 사회적 문제로 인식하는 것이 아니라, 예측 정확도를 높이기 위한 효율적인 패턴으로만 간주한다. 이 과정에서 ‘기술은 중립적’이라는 신화가 깨지고, 알고리즘은 기존의 권력 구조와 사회적 위계를 더욱 공고히 하는 ‘보이지 않는 통치 도구’로 변모할 수 있다. 이는 기술의 발전이 필연적으로 사회적 진보를 의미하지는 않는다는 서늘한 진실을 우리에게 보여준다.

2. 효율성의 제단(祭壇)에 바쳐진 공정성

명백한 차별의 위험에도 불구하고 금융기관들이 AI 심사 시스템을 포기할 수 없는 이유는 그것이 가져다주는 압도적인 ‘효율성’과 ‘경제성’이라는 거부할 수 없는 유혹 때문이다. AI는 24시간 내내 수만 건의 대출 신청을 처리하며 막대한 인건비를 절감하고, 인간이 파악할 수 없는 미세한 데이터 패턴을 분석하여 부실 위험을 정교하게 예측함으로써 은행의 수익성을 극대화한다. 이러한 시장의 논리 앞에서 ‘공정성’이라는 사회적 가치는 종종 부차적인 고려사항으로 밀려나기 쉽다. 가장 효율적인 예측 모델이 때로는 가장 차별적인 결과를 낳을 수 있다는 ‘효율성과 공정성 사이의 딜레마’는 AI 시대 금융의 가장 근본적인 숙제다.

왜 알고리즘 차별은 과거의 인간에 의한 차별보다 더 교묘하고 해결하기 어려운 사회적 문제를 야기할까? 그것이 ‘객관성’과 ‘중립성’이라는 가면 뒤에 숨어 차별을 비가시적이고 체계적인 사회 구조로 고착화시키기 때문이다. 과거의 차별은 특정 개인이나 집단의 ‘편견’에서 비롯되었기에 그 행위자를 특정하고 법적 책임을 묻는 것이 비교적 명확했다. 그러나 알고리즘은 감정이 없으며, 오직 데이터에 기반한 확률적 예측을 할 뿐이다. 이러한 ‘수학적 객관성’은 그 결정이 마치 과학적이고 공정한 것처럼 보이게 하여, 피해자가 자신의 피해 사실을 인지하거나 이의를 제기하는 것 자체를 어렵게 만든다.

더 심각한 문제는 AI의 판단이 다시 데이터가 되어 미래의 AI를 학습시키는 ‘편향 피드백 루프(Bias Feedback Loop)’를 만들어낸다는 점이다. 예를 들어 AI가 특정 지역 주민의 대출을 계속 거절하면 그 지역의 경제 상황은 더욱 악화되고, 이는 다시 해당 지역 주민의 신용도를 낮추는 데이터로 작용한다. 이처럼 알고리즘 차별은 일회성 사건으로 끝나지 않고 사회적 불평등을 영구적으로 재생산하고 심화시키는 악순환의 고리를 만든다.

이렇듯 AI 알고리즘의 차별은 단순히 윤리적 문제를 넘어 헌법이 보장하는 ‘평등권’이라는 핵심 가치를 정면으로 위협한다. 합리적 이유 없이 특정 집단이라는 이유만으로 금융 접근 기회를 박탈하는 것은 헌법 제11조가 규정한 평등의 원칙에 위배될 소지가 크다. 또한 이는 성별, 출신지역, 국적 등을 이유로 한 차별을 금지하는 현행 「신용정보의 이용 및 보호에 관한 법률」과,⁹ 자동화된 결정에 대한 정보주체의 설명요구권 및 이의제기권을 보장하는 「개인정보 보호법」¹⁰의 정신과도 정면으로 충돌한다. AI가 법의 감시를 벗어난 블랙박스 안에서 이러한 헌법적·법률적 가치를 침해하는 결정을 내릴 때 기존의 법체계는 그 실효성을 잃고 무력화될 위험에 처한다.

결국 금융기관은 단기적인 이익과 효율성을 추구하려는 강력한 유인과, 장기적으로 발생할 수 있는 법적 리스크 및 사회적 신뢰 하락 사이에서 아슬아슬한 줄타기를 하고 있다. 그러나 AI 기술의 복잡성과 불투명성을 방패삼아 차별의 책임을 회피하려는 시도는 더 이상 용납되어서는 안 된다. 알고리즘의 결정이 인간의 삶에 중대한 영향을 미치는 만큼, 그 결정 과정 또한 인간 사회의 법과 규범의 통제 아래 놓여야 한다는 사회적 합의를 형성하는 것이 시급하다. 기술의 발전이 법의 가치를 잠식하는 것이 아니라, 법이 기술의 올바른 방향을 제시하는 새로운 규범 체계의 정립이 필요한 시점이다.

3. 디지털 카스트, 고착화되는 불평등의 고리

알고리즘 편향성을 이대로 방치할 경우 그 최종적인 귀결은 사회의 계층 이동 사다리가 영구적으로 차단되는 ‘디지털 카스트(Digital caste)’의 출현이다. 이는 과거의 불평등이 데이터의 형태로 기록되고, AI 알고리즘이 이를 근거로 미래의 기회를 재분배함으로써 계층 간의 격차를 영원히 고착시키는 사회 구조를 말한다.¹¹ 이런 암울한 전망의 핵심에는 알고리즘이 만들어내는 ‘부정적 피드백 루프(Negative Feedback Loop)’라는 악순환의 고리가 있다. 가난한 지역에 산다는 이유로 대출을 거절당한 청년은 창업의 기회를 놓쳐 저소득층으로 남게 되고, 이 결과는 다시 ‘저소득 = 고위험’이라는 데이터로 축적되어 다음 세대의 기회마저 박탈하는 식이다.

이러한 구조는 개인의 노력이나 능력과 무관하게, 태어난 환경이나 소속된 집단이 개인의 금융 접근성을 결정하는 숙명론적 사회를 만든다. AI는 과거 데이터에 기반하여 ‘고위험군’으로 분류된 집단에게는 계속해서 기회의 문을 닫고, ‘저위험군’으로 분류된 집단에게는 기회를 집중시킨다. 금융 서비스를 통해 자산을 형성하고 사회적 지위를 향상시킬 수 있는 기회의 싹을 특정 계층에게는 처음부터 잘라버리는 것이다. 이로써 알고리즘은 객관적 심판자가 아닌, 기존의 사회·경제적 위계를 더욱 강화하고 정당화하는 보이지 않는 통치 시스템으로 작동한다.

한 번 ‘불가촉천민’의 데이터 라벨이 붙으면 개인의 노력으로는 그 굴레를 벗어날 수 없는 사회. 이것이 바로 알고리즘 편향성이 초래할 가장 위험한 미래상이다. 이는 단순히 일부 계층의 금융 접근이 제한되는 문제를 넘어 민주주의 사회의 근간인 기회의 평등을 파괴하고 사회 전체의 활력을 앗아가는 심각한 위협이다. 따라서 알고리즘의 편향성 문제는 더 이상 기술 엔지니어들만의 숙제가 아니라, 우리 사회의 미래를 결정할 가장 중요한 법적, 정치적 의제로 다루어져야 한다.

결국 인공지능이 주도하는 신용평가의 시대는 우리에게 약속과 위협이라는 두 얼굴을 동시에 보여준다. 금융 이력이 부족한 이들에게 새로운 기회를 제공할 것이라는 장밋빛 전망 이면에는, 과거의 차별을 데이터라는 형태로 부활시켜 미래의 기회마저 박탈하는 ‘알고리즘 차별’이라는 어두운 그림자가 드리워져 있다. 이는 단순히 기술적 오류의 문제가 아니라, 헌법이 보장하는 평등의 가치를 위협하고 사회적 불평등을 고착화시키는 우리 시대의 가장 시급한 법적 과제다.

노예의 길, 주인의 길 ― AI에게 차별을 의탁할 것인가?

이 도전에 맞서기 위해, 우리는 ‘책임 있는 AI(Responsible AI)’를 위한 새로운 사회적 계약을 체결해야 한다. AI의 블랙박스에 투명성의 빛을 비추는 ‘설명요구권’을 실질적으로 보장하고, 기업이 AI 개발 단계부터 편향성을 검증하고 완화하도록 하는 ‘AI 영향 평가’¹²를 의무화하며, 기술과 법·윤리 전문가가 함께 참여하는 독립적인 감독 기구를 통해 알고리즘의 공정성을 지속적으로 감시해야 한다.

구체적으로 보면, AI 알고리즘의 투명성과 공정성을 기술적으로 확보하기 위해 설명가능 AI(XAI, Explainable AI)와 같은 기술적 해법을 활용할 수 있다. XAI가 설명가능성을 확보하기 위해서는 투명성, 책임성, 상황 고려, 영향 반영이라는 4대 원칙을 고려해야 한다.¹³ XAI는 AI의 블랙박스를 열어 그 판단의 근거를 인간이 이해할 수 있는 형태로 제시하는 기술적 접근법이다. 이는 알고리즘의 폭정에 맞서는 가장 중요한 기술적 방패가 될 수 있다.

AI 시대의 진정한 디지털 신뢰는 기술의 완벽함이 아닌, 기술이 결코 완벽할 수 없다는 것을 인정하고 그 오류를 바로잡을 수 있는 민주적이고 투명한 제도를 갖추는 데서 비롯된다. 기술이 인간을 지배하는 것이 아니라 인간의 가치가 기술을 올바른 방향으로 이끄는 사회. 이것이 우리가 AI 시대에 구축해야 할 법의 새로운 역할이자 시대적 소명이다.

¹ 윤준탁, 「금융 이력 부족해도 대출 가능?...AI가 이끄는 새로운 신용 평가」, 중앙일보, 2025. 2. 18., https://www.joongang.co.kr/article/25314702 (최종 방문일 : 2025. 9. 18.)

² 파일의 두께가 얇다는 것에 비유하여, 적은 금융거래 실적으로 인해 불리한 신용평가를 받는 '금융이력부족자'를 뜻한다. 기획재정부 시사경제용어사전 ‘신 파일러(Thin Filer)’ 참조. https://www.moef.go.kr/sisa/dictionary/detail?idx=3216 (최종 방문일 : 2025. 9. 18.)

³ 김성용·정관영, 「인공지능의 개인정보 자동화 처리가 야기하는 차별 문제에 관한 연구」, 서울대학교 法學 제60권 제2호. 2019년 6월, 321쪽.

⁴ 윤준탁, 앞의 글.

⁵ 정원섭, 「인공지능 알고리즘의 편향성과 공정성」, 인제대학교 인간환경미래연구원, 인간·환경·미래 제25호, 2020년, 57-58쪽.

⁶ 김성용·정관영, 앞의 논문, 313쪽.

⁷ 중요한 변수임에도 모형에 포함되기 곤란하거나 사용이 어려운 경우, 원래의 변수를 대신하여 사용할 수 있는 변수를 말한다. 위키백과, 「대리 변수」, https://ko.wikipedia.org/wiki/%EB%8C%80%EB%A6%AC_%EB%B3%80%EC%88%98 (최종 방문일 : 2025. 9. 18.)