정부 편 9화: AI 시대의 새로운 시민

디지털 권리와 책임

---

♤ 시뮬레이션: 2034년 3월 12일, 알고리즘이 내린 판결

2034년 3월 12일, 오전 9시 - 서울 강남구 KB국민은행 대치지점

김민수(37세, IT 회사 과장)는 전날 밤 꿈에 그리던 아파트 계약금을 준비하고 은행을 찾았다. 5년간 모은 돈으로 드디어 내 집 마련의 꿈을 이루는 순간이었다.

"고객님, 죄송하지만 대출 승인이 거절되었습니다."

행복한 얼굴로 들어섰던 민수는 귀를 의심했다.

"네? 무슨 말씀이세요? 제 신용등급은 1등급이고, 연체한 적도 없는데요?"

"그게... 고객님의 신용등급이 어제 갑자기 6등급으로 하락했습니다."

"6등급이요?! 말도 안 돼요. 어제까지만 해도 1등급이었는데, 하루 만에 어떻게..."

창구 직원도 난감한 표정이었다. "저희도 이유를 정확히 모릅니다. AI 신용평가 시스템의 자동 판정이라서요."

"AI? 그럼 담당자는 없나요? 누구한테 항의해야 하죠?"

"죄송합니다만, 이 시스템은 정말 자동화되어 있어서... 한국신용정보원에 문의하셔야 할 것 같습니다."

민수는 멍한 상태로 은행을 나왔다.

이게 무슨 일이지? 5년간 꿈꿔온 내 집 마련이 하루아침에...

오전 11시 - 한국신용정보원 고객센터

집으로 돌아온 민수는 바로 한국신용정보원에 전화했다.

"고객님의 신용등급 하락 사유는 'AI 종합평가 모델의 리스크 판단'으로 기록되어 있습니다."

"그게 무슨 뜻이에요? 제가 뭘 잘못했다는 건가요?"

"구체적인 사유는 AI 모델의 영업비밀로 공개할 수 없습니다."

"영업비밀?! 제 인생이 걸린 문제인데 이유도 모르고 받아들이라고요?"

"죄송하지만 AI 평가 알고리즘은 공개할 수 없습니다. 이의신청은 가능하지만 처리까지 3개월 정도 소요됩니다."

"3개월?! 그때까지 집값이 얼마나 오르는데..."

전화를 끊은 민수는 망연자실했다.

나는 성실하게 살았고, 세금도 꼬박꼬박 냈고, 연체도 한 적 없는데... AI가 날 어떻게 판단한 거지?

오후 2시 - 아내 수연과의 대화

아내 수연(35세, 초등학교 교사)이 퇴근 후 집에 돌아왔다.

"여보, 무슨 일 있어? 얼굴이 왜 그래?"

민수는 오늘 있었던 일을 털어놨다. 수연도 믿을 수 없다는 표정이었다.

"말도 안 돼... 우리 5년 동안 얼마나 아껴 모았는데. 그 집 다음 주면 다른 사람한테 넘어간다며?"

"나도 모르겠어. AI가 날 평가했다는데, 이유도 안 알려주고..."

"이의신청은 해봤어?"

"했는데 3개월 걸린대. 그때까지 기다릴 수가 없어."

수연이 검색을 하더니 뭔가를 찾았다.

"여보, 여기 봐. 'AI 옴부즈맨 사무소'라는 게 있네. AI 시스템의 부당한 판정에 대해 시민을 돕는 곳 이래."

"정말? 그런 게 있어?"

"응, 2032년에 디지털권리보호법이 생기면서 만들어진 기관이래. 무료 상담도 해준대."

민수는 희망을 발견했다. "당장 내일 가봐야겠어."

다음날, 2034년 3월 13일 - AI 옴부즈맨 사무소

서울 종로구에 위치한 'AI 옴부즈맨 사무소'. 민수는 아침 일찍 찾아갔다.

깔끔한 사무실에서 정예린 변호사(42세)가 민수를 맞이했다.

"안녕하세요, 김민수 씨. 신용등급 하락 건으로 상담 신청하셨죠?"

"네, 변호사님. 정말 억울해서요. 제가 뭘 잘못한 건지 이유도 모르겠고..."

정 변호사는 민수의 이야기를 차분히 들었다.

"민수 씨, 이런 경우가 요즘 많이 늘고 있어요. AI 시스템이 사람의 인생을 판단하는데, 그 이유를 설명하지 않는 거죠."

"그게 합법인가요?"

"현행법상 문제가 있어요. 하지만 우리 사무소가 도와드릴 수 있습니다. 2032년 제정된 디지털권리보호법에 따르면, 시민에게는 '알고리즘 설명 요구권'이 있거든요."

정 변호사가 컴퓨터를 켰다.

"먼저 민수 씨의 신용정보를 AI 감사 시스템으로 분석해 볼게요."

화면에 복잡한 데이터와 그래프가 나타났다.

AI 신용평가 분석 결과

김민수 (1997년생, 남성)

기존 신용등급: 1등급 (2034.3.11까지)

변경 신용등급: 6등급 (2034.3.12)

하락 주요 요인 분석:

1. SNS 활동 패턴 변화 (가중치 40%)

- 최근 3개월간 "퇴사" "이직" 키워드 검색 급증

- 불만족 감정 표현 증가

2. 소비 패턴 변화 (가중치 30%)

- 유흥비 지출 증가 (실제: 친구 결혼식 축의금)

3. 교우관계 분석 (가중치 20%)

- 신용불량자와의 SNS 연결 3건 발견

4. 기타 위험 신호 (가중치 10%)

- 심야 시간대 온라인 활동 증가

정 변호사가 설명했다. "보세요, 민수 씨. AI가 민수 씨를 '재정 불안정 위험군'으로 분류했어요."

"하지만 이건 완전히 오해예요! 이직은 생각해 본 적도 없고, 친구 결혼식 축의금이 왜 유흥비가 되는 거죠?"

"바로 그겁니다. AI는 맥락을 이해하지 못해요. 데이터만 보고 판단하죠."

"그럼 이걸 어떻게 바로잡을 수 있죠?"

"여기서부터 우리가 도와드릴 차례예요. 디지털권리보호법 제12조에 따라 '알고리즘 판정 이의신청'을 제기하겠습니다."

오후 3시 - 한국신용정보원 AI 심사위원회

정 변호사는 민수를 데리고 한국신용정보원을 찾았다. 하지만 담당자의 반응은 차갑 했다.

"변호사님, 죄송하지만 AI 알고리즘은 영업비밀입니다. 공개할 수 없습니다."

"저는 알고리즘 자체를 달라는 게 아닙니다. 이 분의 경우 왜 신용등급이 하락했는지 '설명'을 요구하는 겁니다. 이건 법적 권리예요."

"그래도 구체적인 평가 로직은..."

정 변호사가 서류를 꺼냈다. "디지털권리보호법 제12조 3항을 보세요. 'AI 시스템의 중대한 판정에 대해 시민은 설명을 요구할 권리가 있다'라고 명시되어 있습니다."

담당자가 난처한 표정을 지었다. "알겠습니다. 상급자와 상의해 보겠습니다."

일주일 후, 3월 20일 - 반전

일주일간의 조사 끝에 정 변호사에게 연락이 왔다.

"민수 씨, 좋은 소식이에요!"

"정말요? 뭔데요?"

"AI 시스템에 오류가 있었어요. 민수 씨와 동명이인의 데이터가 혼합됐던 겁니다."

"동명이인이요?"

"네. 같은 이름의 다른 김민수 씨가 있는데, 그분의 부정적 금융 이력이 민수 씨 계정에 잘못 연결됐어요."

"그럼 제 신용등급은?"

"원래대로 1등급 복원됐어요. 그리고 한국신용정보원에서 공식 사과와 함께 보상금 500만 원을 제안했습니다."

민수는 안도의 한숨을 쉬었다. "감사합니다, 변호사님. 변호사님 아니었으면 어쩔 뻔했어요."

"다행이에요. 하지만 민수 씨, 이건 시작일 뿐입니다."

"무슨 말씀이세요?"

정 변호사가 진지한 표정을 지었다. "민수 씨 같은 사례가 한 달에 수천 건씩 접수돼요. AI가 사람의 인생을 판단하는 시대가 됐는데, 그 판단이 항상 옳은 건 아니거든요."

저녁 8시 - 집에서 아내와의 대화

집으로 돌아온 민수는 수연에게 모든 이야기를 했다.

"다행이다, 여보. 그럼 이제 집 계약 진행할 수 있는 거네?"

"응. 내일 다시 은행 가볼 거야. 그런데..."

"왜?"

"생각해 보니까 정말 무서워. 내가 뭘 잘못한 것도 아닌데, AI가 날 잘못 판단했다는 이유만으로 내 인생이 망가질 뻔했잖아."

수연도 고개를 끄덕였다. "맞아. 나도 학교에서 학생들 평가할 때 AI 시스템 쓰는데, 가끔 의문이 들 때가 있어. 이 AI가 정말 우리 아이들을 제대로 이해하는 걸까?"

"정 변호사님이 그러시더라. 이런 문제가 사회 전반에 퍼지고 있다고."

민수는 스마트폰으로 뉴스를 검색했다.

최근 AI 오판 사례들

- 취업 AI: 여성 지원자 차별 (2033.8)

- 보험 AI: 유전질환 리스크 과대평가 (2033.11)

- 복지 AI: 장애인 지원 대상 오판 (2034.1)

- 사법 AI: 무고한 시민 범죄자로 오인 (2034.2)

"이렇게나 많네..." 민수가 중얼거렸다.

"여보, 우리가 뭔가 해야 하는 거 아닐까?" 수연이 물었다.

"우리가? 뭘?"

"AI 시대에 시민의 권리를 지키는 일 말이야. 정 변호사님이 시민 모임을 만든다고 하셨다며?"

민수는 정 변호사가 준 명함을 꺼냈다. 뒷면에 적힌 문구가 눈에 들어왔다.

"AI 시대의 시민권을 함께 지켜요. 디지털권리시민연대 - 매주 목요일 저녁 7시

다음 주 목요일 - 디지털권리시민연대 첫 모임

민수는 정 변호사가 이끄는 시민 모임에 참석했다. 20여 명의 시민들이 모여 있었다.

"반갑습니다, 여러분." 정 변호사가 회의를 시작했다. "오늘 첫 모임에 참석해 주셔서 감사합니다. 우리는 모두 AI 시스템의 부당한 판정을 경험한 분들이죠."

참석자들이 자기 이야기를 나누기 시작했다.

참석자 A (43세, 여성) "저는 AI 채용 시스템 때문에 10군데 면접에서 다 떨어졌어요. 나중에 알고 보니 제 이름이 과거 범죄자와 비슷해서 자동으로 걸러졌더라고요."

참석자 B (38세, 남성) "저는 AI 보험 시스템이 제 유전자 데이터를 분석해서 '암 발병 고위험군'으로 분류했어요. 실제로는 전혀 문제없는데 보험료가 3배로 올랐습니다."

참석자 C (29세, 여성) "저는 SNS에 우울한 글을 몇 번 올렸더니 AI가 '정신건강 위험군'으로 분류해서 승진에서 탈락했어요."

민수는 깨달았다. 자신만의 문제가 아니었다. 수많은 시민들이 AI 시스템의 불투명한 판단으로 고통받고 있었다.

정 변호사가 말했다. "여러분, 우리는 AI를 반대하는 게 아닙니다. AI는 분명 우리 삶을 편리하게 만들어줬어요. 하지만..."

그가 화면에 슬라이드를 띄웠다.

AI 시대 시민권의 3대 원칙

알 권리: AI가 나를 어떻게 판단했는지 알 권리

이의제기권: 잘못된 판정에 이의를 제기할 권리

인간 판단 요구권: 중대한 결정은 사람의 최종 판단을 받을 권리

"우리는 이 세 가지 권리가 제대로 보장되는 사회를 만들고 싶습니다."

민수가 손을 들었다. "구체적으로 어떻게 할 수 있죠?"

"여러 가지 방법이 있습니다. 첫째, 피해 사례를 모아서 정부에 제도 개선을 요구합니다. 둘째, AI 기업들과 대화해서 자율 규제를 이끌어냅니다. 셋째, 시민들을 교육해서 자기 권리를 알게 합니다."

한 달 후, 4월 25일 - 디지털플랫폼정부부

시민 모임의 활동이 언론의 주목을 받으면서, 정부도 움직이기 시작했다.

박지영 AI정책관(42세)이 정 변호사와 민수를 초대했다.

"정 변호사님, 그리고 김민수 씨. 만나서 반갑습니다."

박 정책관은 3년 전 'AI 거버넌스 혁명'을 이끈 주역이었다. (2화 참조)

"시민연대의 활동을 주목하고 있습니다. 여러분이 제기한 문제들이 매우 중요하다고 생각해요."

"감사합니다, 박 정책관님." 정 변호사가 답했다. "하지만 현행 디지털권리보호법만으로는 부족합니다."

"어떤 점이 부족한가요?"

"법은 있지만 실효성이 약해요. AI 기업들이 '영업비밀'을 이유로 설명을 거부하면 시민은 속수무책이거든요."

민수가 자기 경험을 이야기했다. "저도 처음에는 한국신용정보원이 설명을 거부했어요. 변호사님이 법조항을 들이대고서야 조사가 시작됐죠."

박 정책관이 고개를 끄덕였다. "알겠습니다. 법 개정이 필요하다는 말씀이시죠?"

"네. 그리고 더 중요한 건..." 정 변호사가 자료를 꺼냈다.

AI 시스템 투명성 강화 제안

1. 알고리즘 영향평가 의무화

- 중대한 판정을 내리는 AI는 사전 심사 필수

2. 설명 가능한 AI (XAI) 도입 강제

- 판정 이유를 사람이 이해할 수 있게 설명

3. 인간 개입 지점 명확화

- 특정 상황에서는 반드시 사람이 검토

4. AI 옴부즈맨 권한 강화

- 조사권, 시정명령권 부여

5. 피해구제 절차 간소화

- 3개월 → 2주 이내 처리

박 정책관이 진지하게 검토했다. "좋은 제안들입니다. 하지만 기업들의 반발이 예상되는데요?"

"그래서 우리가 제안하는 게..." 정 변호사가 다음 슬라이드를 넘겼다.

산업계와 시민사회의 win-win 모델

기업 입장:

- 알고리즘 자체는 공개 안 해도 됨

- 대신 판정 '이유'만 설명

- 자율규제 인정받으면 정부 규제 완화

시민 입장:

- 알 권리 보장

- 신속한 구제

- 잘못된 판정 시정

정부 입장:

- 혁신과 권리 보호 균형

- 산업 경쟁력 유지

- 시민 신뢰 확보

박 정책관의 눈이 빛났다. "이거... 가능할 것 같은데요?"

3개월 후, 7월 15일 - 국회 공청회

정부는 '디지털권리보호법 전면 개정안'을 발의했고, 국회 공청회가 열렸다.

찬성 측에는 정 변호사와 민수, 반대 측에는 AI 기업 대표들이 나왔다.

AI 기업 대표 "이 법안이 통과되면 우리 기업들의 경쟁력이 훼손됩니다. 알고리즘은 핵심 영업비밀인데, 그걸 설명하라는 건 기술 유출을 강요하는 겁니다."

정 변호사가 반박했다. "아닙니다. 우리는 알고리즘 자체를 공개하라는 게 아닙니다. '이 사람이 왜 6등급이 됐는지' 그 이유만 설명하면 됩니다. 이건 시민의 기본권입니다."

민수도 발언했다. "저는 AI를 반대하지 않습니다. 오히려 AI 덕분에 편리해진 게 많죠. 하지만 AI가 제 인생을 좌우하는 판단을 할 때, 저는 최소한 그 이유를 알 권리가 있다고 생각합니다."

국회의원들이 질문을 쏟아냈다.

의원 A: "그렇다면 모든 AI 판정에 다 설명을 요구할 건가요? 하루에도 수억 건의 AI 판정이 나오는데?"

정 변호사: "아닙니다. 우리는 '중대한 판정'에만 적용하자고 제안합니다. 신용, 채용, 보험, 복지, 사법 등 사람의 인생에 큰 영향을 주는 분야만요."

의원 B: "설명 의무를 지우면 AI 개발이 위축되지 않을까요?"

박 정책관이 답변에 나섰다. "오히려 반대입니다. 유럽은 이미 'AI Act'로 더 강한 규제를 시행하고 있습니다. 우리가 먼저 합리적인 기준을 만들면, 그게 글로벌 표준이 될 수 있습니다."

의원 C: "구체적으로 어떻게 작동하나요?"

화면에 시연이 나타났다.

설명 가능한 AI 시스템 예시

[기존 방식]

"귀하의 신용등급은 6등급입니다."

[개선 방식]

"귀하의 신용등급은 6등급입니다.

주요 요인:

1. 최근 3개월 소비 패턴 변화 (40% 영향)

2. 교우관계 리스크 증가 (30% 영향)

3. 온라인 활동 패턴 변화 (20% 영향)

4. 기타 요인 (10% 영향)

이의가 있으시면 클릭하세요 → [이의신청]

"이렇게 하면 시민도 이해할 수 있고, 기업도 핵심 알고리즘은 보호할 수 있습니다."

한 달 후, 8월 20일 - 법안 통과

국회는 압도적 찬성(재석 267명 중 찬성 231명)으로 '디지털권리보호법 전면 개정안'을 통과시켰다.

개정 디지털권리보호법 핵심 내용

제1장: 시민의 권리

- 알 권리: 중대한 AI 판정의 이유 설명 요구권

- 이의제기권: 2주 이내 재심사 의무

- 인간 판단 요구권: 최종 판정은 사람이 검토

제2장: 기업의 의무

- 설명 가능한 AI (XAI) 도입 의무