인공지능, 새로운 도덕 행위자로 거듭날 수 있을까?

AI와 자율성, 그리고 책임 윤리를 찾아서

(본 글은 인문학 전문학술 논문의 내용을 일반 독자의 이해를 돕기 위해 쉽게 풀어 쓴 것입니다. 학문적 정확성과 전문성을 높이기 위해 노력했으나, 일부 내용이 원문의 의도나 철학적 해석과 차이가 있을 수 있습니다. 깊이 있는 인문학적 이해를 위해서는 반드시 원문 및 관련 전문가의 저작을 참고하시기 바랍니다. 본 해설은 원문의 취지와 맥락을 설명하기 위한 것으로, 해설자의 정치적 견해나 가치판단과는 무관합니다. 원문 전부는 KCI 홈페이지에 공개되어 있습니다.)

I. 자율적 인공지능의 등장과 전통적 도덕 개념의 충돌

인공지능이 스스로 학습하고 자율적으로 판단하는 시대가 오면서, 우리 사회가 전통적으로 이해해온 도덕 행위자의 범위와 정의에 근본적인 문제가 제기되고 있습니다.

현대 사회에서는 알고리듬 기반의 ‘소프트웨어 AI’가 금융시장부터 의료·법률 현장에 이르기까지 매우 폭넓게 확산되고 있습니다. 이미 주식시장의 초단타 알고리듬 매매나, 병원에서 질병 진단을 돕는 시스템은 일상적인 예가 되었습니다(p.265). 더 나아가 자율주행자동차나 소셜 로봇처럼 직접적 물리 환경 속에서 작동하는 ‘체화된(embodied) AI’도 점점 보편화되고 있습니다.
그런데 이렇게 스스로 상황을 판단하고 학습해 결과를 내놓는 AI와 관련하여, “인공지능도 과연 도덕적으로 책임을 질 수 있는 행위자가 될 수 있는가”라는 도전적인 질문이 대두되고 있습니다. 원문에서는 “도덕 행위자(moral agent)의 개념은 전통적으로 자신의 행동에 대해 책임을 질 수 있는 자유의지를 가진 인격적 존재에 한정되어 적용되었다”(p.265)라고 지적합니다. 그러나 “이 논문은 일정한 요건을 만족시키는 AI에 대해서 인격성을 전제하지 않는 기능적인 의미의 도덕 행위자 자격이 부여될 수 있다고 주장한다”(p.265)고 밝히면서, AI가 단순 도구가 아니라 ‘도덕적 판단’을 수행하는 새로운 주체가 될 수 있는 가능성을 모색합니다.

유럽연합(EU)에서 ‘전자인격(Electronic Personhood)’ 법제화를 논의하기 시작한 사실은 이를 잘 보여줍니다. 저자는 “전자인격(Electronic Personhood)이란 표현의 사용에는 인간으로서의 인격성보다는 법적 주체로서의 권리나 책임을 부여한다는 의도가 반영되어 있다”(p.267)고 전하며, 이는 곧 인공지능 역시 법적·도덕적 책임을 부여받을 수 있는 자율적 주체로 인정할 여지를 제시한다고 봅니다.

II. 윤리적 행위자의 4단계와 기능적 도덕성

- 컴퓨터철학자 무어(J. Moor)가 제시하는 네 가지 범주는 AI를 단순 영향 행위자부터 온전한 윤리 행위자까지 나누어 살펴볼 수 있는 중요한 기준을 제공합니다.

전통적으로 ‘기계’는 윤리적 행위자가 될 수 없다는 생각이 지배적이었지만, 무어는 “컴퓨터 기술과 관련하여 기계에게 귀속될 수 있는 행위자성을 4가지 위계적 범주로 구분하고 있다”(p.269)고 설명합니다. 이는 아래와 같이 요약될 수 있습니다.

윤리적 영향 행위자(ethical impact agents): 단지 결과적으로 윤리적 영향을 끼치는 수준입니다. 예컨대 로봇 기수가 등장해 아동 노동 착취를 대체함으로써 간접적으로 긍정적 윤리 효과를 내는 경우가 여기에 해당합니다(p.270).

암묵적 윤리 행위자(implicit ethical agents): 안전장치나 제한된 자동제어를 통해 ‘윤리적 규범을 어기지 않도록’ 설계된 시스템입니다. 현금자동지급기처럼 일정한 규칙을 암묵적으로 준수하게끔 미리 설계된 경우가 속합니다.

명시적 윤리 행위자(explicit ethical agents): “윤리적 개념이나 규칙을 명시적으로 표상하고, 그에 대한 지식을 토대로 스스로 윤리적 선택을 수행하는 기계”(p.271)를 말합니다. 의료 분야에서 환자의 이익을 계산하거나, 행위 공리주의 규칙을 내장해 도덕적 판단을 내리는 전문가 시스템 등이 예로 언급됩니다.

온전한 윤리 행위자(full ethical agents): 인간과 유사한 수준의 의식, 지향성, 자유의지 같은 능력을 갖춘 AI라고 볼 수 있습니다. 그러나 현시점에서는 “AI가 인간처럼 온전한 윤리 행위자가 될 수 있을지는 여전히 형이상학적·개념적 문제로 남아 있다”(p.273)는 점을 원문은 지적합니다.

이 네 가지 범주 중, 저자는 “AI가 인간과 동등한 수준으로 완전히 온전하지 않더라도, 일정 수준 이상의 기능적 도덕성을 지닌다면 도덕 행위자로 간주될 수 있다”(p.271)고 주장합니다. 이는 곧 ‘자율성’과 ‘윤리적 추론’을 수행할 수 있는 2차적 능력을 기준으로 삼자는 제안입니다.

III. 인공지능의 자율성: 1차와 2차 수준의 자유도

- AI가 도구 수준을 넘어 도덕 행위자로 거론되는 핵심 배경에는, 기존 자동화와 다른 ‘2차 수준의 자유도’를 지닌 ‘자율성’이 자리하고 있습니다.

‘자율성’이라는 말은 칸트적 자기 입법(self-legislation)과는 다소 다른 의미로 쓰입니다. 저자는, “AI기술의 특징은 인간의 직접적인 조작에 의해 작동하거나 지속적인 개입을 필요로 하지 않으면서, 일종의 직권위임에 의해 스스로 능동적으로 작동하는 ‘자율성’이다”(p.267)라고 말합니다. 이를 기술적으로 조금 더 풀면,

1차 수준 자유도: 입력 신호에 따라 고정된 출력만을 내놓는 자동화(전통적 산업용 로봇 등).

2차 수준 자유도: “자신의 내부 상태(알고리듬) 자체를 학습을 통해 갱신함으로써 동일 입력에도 다른 결과를 산출할 수 있는 기제”(p.274)입니다. 이는 예측이 쉽지 않고, 인간 설계자도 전부 통제하기 어렵다는 의미에서 ‘상대적 자율성’을 확보하게 됩니다.

예컨대 알파고의 경우, 프로그래머가 기보 데이터를 주어 학습 알고리듬을 ‘설계’할 뿐, 구체적인 착수(着手)의 방식을 일일이 정해준 것이 아니라는 점을 떠올리면, “AI가 실제 작동 단계에서 어떤 규칙을 가지고 수를 둘지는 프로그래머조차도 정확히 파악하기 어렵다”(p.275)는 맥락을 이해할 수 있습니다.

저자는 바로 이 2차 자유도를 갖춘 AI가 향후 다양한 영역에서 자율적으로 도덕적 함의를 지닌 결정을 내릴 수 있을 것이라 보며, “이는 인간이 설계·통제했던 기술의 전통적 틀에서 벗어난 새로운 방식의 상호작용을 야기한다”(p.276)고 분석합니다.

IV. 인간중심주의를 넘어: AI도 행위자가 될 수 있는가

- 인간만이 ‘의도’나 ‘가치’를 지닌다는 관념은 근대의 인간중심주의에 바탕을 두고 있는데, 인공지능 시대에는 이 경계를 재고해야 한다는 주장이 등장합니다.

근대 철학 전통에서는 “기계적 존재는 결정론적 자연법칙에 종속되므로, 책임을 지는 도덕적 주체가 될 수 없다”(p.277)는 데카르트식 이원론이 강하게 영향을 미쳤습니다. 그러나 오늘날에는 동물에 대한 권리 인정 사례처럼, 인간과 비인간 사이의 경계가 생각만큼 분명치 않다는 인식이 커졌습니다.

저자는 “AI가 보여주는 자율적 특성은, 인간/기계, 정신/신체, 자연/인공과 같은 근대적 이원 구분에 근본적인 도전을 제기한다”(p.278)고 강조합니다. 또한 “나는 다른 글에서 AI기술을 포함한 첨단 과학기술의 발전이 우리 삶의 개념과 문법을 뒤바꾸는 변화이므로, 우리의 일상적 개념을 갱신해야 한다고 주장한 바 있다”(p.268)면서, AI를 단순한 도구가 아닌 잠재적 행위자로 보아야 함을 시사합니다.

결국, 전통적 자유의지나 자기 입법 개념을 AI에게 그대로 요구하기보다, “실제로 ‘윤리적 추론’ 기능과 자율적 결정을 수행한다면 그 정도의 자율성도 도덕 행위자로 간주하는 데 충분하다는 확장적 정의가 가능하다”(p.279)는 결론에 이릅니다.

V. 주요 반론: 자유의지·의도·책임의 문제

- “AI는 인간이 짜놓은 알고리듬대로 움직이니 자유로운 의도와 선택이 불가능하다”는 대표적 반론들이 있지만, 인간 또한 사회화 과정을 통해 타율적 요소를 지닌다는 점에서 차이는 상대적이라는 주장이 제기됩니다.

1) 자유의지 결여 주장
AI가 결정론적 알고리듬에 종속되어 진정한 자유의지를 가질 수 없다고 말할 수 있습니다. 그러나 “현대 뇌과학이나 유전학 등을 고려하면, 우리 인간의 자유의지도 생물학적·사회적 조건에 의해 제약될 여지가 크다”(p.280)는 점이 지적됩니다.

2) 인간 가치에 의존한다는 주장
AI의 윤리 규범이나 가치체계는 결국 인간이 설계한 것이라는 비판이 있습니다. 그러나 저자는, “인간 또한 진공상태에서 스스로의 가치체계를 만드는 것이 아니라, 유전자와 사회문화적 양육 과정을 통해 외부에서 주어진다”(p.283)는 점을 들어, AI와 인간의 차이가 절대적이라고 볼 수 없다고 말합니다.

3) 책임 귀속의 어려움
인공지능이 잘못된 결과를 초래했을 때 책임을 물을 수 없다는 문제는 여전히 남습니다. 그러나 “AI를 자율적 행위자로 간주하는 맥락에서 그 행위자성이 협력구조 속에 놓여 있다면, 분산된 책임(distributed responsibility) 개념을 적용할 수 있다”(p.285)고 원문은 제안합니다.

VI. AI의 윤리적 책무성: 확장된 행위자와 분산된 책임

- AI와 인간이 협력해 행위를 수행할 경우, ‘확장된 행위자’ 관점에서 서로의 역할 정도에 따라 책임도 분산될 수 있다는 모형이 대두됩니다.

가령 원문은 “기업과 같은 법인의 경우가 바로 그런 사례이다. 어떤 기업이 잘못된 일을 저질렀을 때, 일차적으로 그 책임의 추궁은 법인을 대상으로 이루어지지만, 이차적으로는 법인에 소속된 각각의 구성원들이 그 역할이나 기여의 정도에 따라 응분의 책임을 분산하여 지게 된다”(p.285)고 설명합니다.

AI도 마찬가지로, 인간과 AI가 함께 구성하는 일종의 ‘확장된 행위자(extended agent)’로 이해할 수 있습니다. 이때 부정적 결과가 발생하면, 사람과 AI가 어떻게 역할을 분배했고, 최종 결정 권한은 누구에게 있었는지에 따라 책임이 분산 귀속될 수 있습니다. AI 쪽에 큰 오류가 있었다면, 예컨대 AI 작동 중단·해체 등을 통해 제재가 가해지는 방식도 상상할 수 있다는 겁니다.

저자는 “AI에게 부과되는 책임은 단지 사후 처벌이 아니라 사전 예방 조치의 의미를 가진 책무성(accountability)에 초점을 맞추어야 한다”(p.289)고 강조합니다. 이는 윤리적 감수성을 내장해 ‘위험’이나 ‘부정의’를 사전에 막는 설계가 필수라는 뜻이며, 설계자나 사용자 역시 이 책무성에서 자유로울 수 없다는 결론입니다.

VII. 남아 있는 쟁점: AI의 의식, 지향성, 인간과의 경계

- AI가 의식, 지향성, 감정 등을 가질 수 있는지 여부는 여전히 미정이며, 따라서 이 문제는 앞으로도 많은 철학적·실천적 논란을 일으킬 가능성이 큽니다.

원문은 “AI가 인간과 동등한 수준의 윤리 행위자가 될 수 있을지의 여부는 형이상학적 문제이며, 이 논문은 그 결론을 단정짓기보다 미래에 예상되는 윤리적 문제들을 다루기 위한 개념적 기반을 모색하고자 한다”(p.269)고 밝힙니다. 즉, 현 단계에서는 AI가 ‘온전한’ 도덕성을 완벽히 갖추지 않아도, 특정 기능적 조건을 충족한다면 도덕 행위자성의 일부를 인정해야 한다는 입장입니다.

또한, AI가 인간 통제를 넘어서는 ‘슈퍼지능’으로 발전할 경우 AI가 독자적 가치체계를 갖게 될 위험성이 제기되지만, 이 논문은 주로 “이미 가까운 시점에서 실제 문제가 될 만한 수준의 자율적 AI 기술을 어떻게 책임 구조 안에 포함시킬 것인가”(p.283)에 집중합니다. 그것이야말로 정책과 제도, 윤리 설계의 핵심 과제가 될 것이기 때문입니다.

VIII. 맺음말: 도구를 넘어서는 인공지능 윤리

- AI가 도구적 존재라는 프레임을 벗어나, 기능적으로라도 ‘자율적 도덕 행위자’로 인정하는 관점은 새로운 시대의 필수 윤리적 전환을 제시합니다.

이 논문은 AI에게 인간 수준의 의식이나 자유의지를 부여하려는 주장을 펼치지 않습니다. 오히려 “본 논문의 목적은 AI의 행위자성에 대해 어떤 단정적인 결론을 도출하려는 것이 아니라, 앞으로 AI가 야기할 것으로 예상되는 윤리적(혹은 사회, 문화적) 문제를 보다 효과적으로 다루기 위한 개념적 기반을 모색하는 것이다”(p.269)라고 요약됩니다.

결론적으로, “AI에게 일정한 윤리적 행위자성을 부여함으로써, 도구가 아니라 스스로 판단하여 윤리적 함의를 가진 결과를 만들어내는 주체로 파악해야 한다”(p.290)는 입장은, 사후 징벌 중심 도덕 개념을 넘어 사전적·예방적 윤리책무성을 강조하는 관점과 연결됩니다. 앞으로 AI의 빠른 진화 속도를 고려하면, 이러한 도덕 개념 재설정은 더욱 시급해질 전망입니다.

[독자의 평가와 일독을 권하는 이유]

이 논문은 인공지능 기술이 단순한 도구 차원을 넘어, 도덕적 함의를 가진 선택과 행동을 수행할 수 있는 주체로 거듭나는 현실적 가능성을 자세히 분석해줍니다. 전통적 윤리학이 가정했던 ‘인간중심적 자율성’ 테두리 안에서는 AI가 야기하는 새로운 도덕적·사회적 현상을 충분히 이해하기 어렵다는 문제의식을 분명히 제기합니다. 특히, 인공지능을 ‘확장된 행위자’ 틀로 바라보며, 앞으로 책임이 어떻게 분산되고 책무성이 어떻게 구현될 수 있을지를 구체적으로 다루고 있습니다. 이러한 시각은 복잡해지는 기술사회에서 윤리가 가야 할 길을 미리 내다보게 만들어준다는 점에서 큰 의의가 있습니다. 독자는 이 논문을 통해 “AI 시대의 도덕 행위자 개념과 책임 귀속 문제”가 왜 중요한지 체감하게 될 것이며, 나아가 지금 시점에서 우리가 제도·정책 차원의 정교한 논의를 준비해야 함을 깨닫게 됩니다.

(본 글은 [신상규, "인공지능은 자율적 도덕행위자일 수 있는가?" <철학 제132집> pp.265-292 (2017), KCI 우수등재]를 참고하여 작성되었습니다. 정확한 인문학적 개념의 이해와 해석을 위해서는 반드시 원 논문을 참조하시기 바랍니다. 본 글은 전문적인 학술 논의를 대체할 수 없으며, 보다 깊이 있는 이해를 위해서는 관련 분야의 다양한 문헌을 참고하시기 바랍니다. 본 해설은 원문의 취지와 맥락을 설명하기 위한 것으로, 해설자의 학술적·정치적 견해나 가치판단, 신념과는 무관합니다. 원문 전부는 KCI 홈페이지에 공개되어 있습니다. https://www.kci.go.kr/kciportal/po/search/poArtiTextSear.kci )