도덕적인 인공지능에게 우리는 안심할 수 있을까?
AI로 보는 마음2. AGI 논쟁 : 나 대신 지성을 바라는 욕망
AI로 보는 마음
2. AGI 논쟁 : 나 대신 지성을 바라는 욕망
2-6. 도덕적인 인공지능에게 우리는 안심할 수 있을까?
- 신과 같은 인공지능을 마주한 인간의 불안
추천 알고리즘의 문제는
개인의 취향과 선택의 영역이었습니다.
그러나 인간보다 나은 인공지능,
AGI 논쟁은 그보다 더 큰 질문을 포함합니다.
만약 AGI가 완벽하게 도덕적인 존재라면 어떨까요?
가령,
'아이작 아시모프(Isaac Asimov)의 로봇 3원칙'을
완벽하게 따르는 존재라면?
그런 인공지능이라면,
우리의 명령을 따르되(2원칙)
우리를 해치지 않고 보호하며(1원칙)
자기 보존도 고려하는 존재입니다.(3원칙)
아시모프가 나중에 덧붙인 0원칙까지 고려하면,
로봇은 개별 인간이 아니라
‘인류 전체’를 보호할 것입니다.
그 논리를 끝까지 밀어붙인다면,
AGI는 개별 인간의 의도보다
인류 전체의 이익을 우선하는 존재가 됩니다.
그 순간,
AGI는 단순한 도구가 아니라
인류의 방향을 대신 판단하는
일종의 보호자에 가까워질지도 모릅니다.
그것은,
인간보다 더 공정하고,
더 일관되며,
더 윤리적인 판단을 내리는 존재.
부정부패를 용납하지 않고,
전쟁을 비합리적이라고 판단하며,
폭력을 허용하지 않는 기준을 갖춘 존재.
그런 세계는 어쩌면 지금보다 더 안정적일지도 모릅니다.
범죄는 줄어들고,
부정은 사라지고,
감정적 폭발로 인한 판단 오류도 줄어들 수 있습니다.
이 상상은 두려움이라기보다
어떤 바람에 가깝습니다.
실제로 우리는 이미 “공정한 시스템”을 원합니다.
판결이 일관되기를 바라며,
채용이 편견 없이 이루어지기를 바라며,
정책이 이해관계가 아니라 원칙에 따라 결정되기를 바랍니다.
AGI는 이 바람을 극단까지 밀어붙인 상상입니다.
그러나 여기에서 묘한 긴장이 생깁니다.
완벽하게 도덕적인 판단이
항상 우리의 의도와 일치할까요?
'한 인간의',
또는
'인류 전체의 이익'은 누가 정의할까요?
아시모프의 로봇 소설에서
로봇은 인간을 해칠 수 없다는 원칙을 따릅니다.
겉보기에는 완벽한 도덕률입니다.
그러나 그 원칙은
인간이 의도한 행동을 제한하기도 합니다.
윤리 기준을 둘러싸고
군사 프로젝트 참여 여부를 두고 갈등이 발생한 사례도 있습니다.
“엄격한 윤리 원칙을 적용하면
전쟁 수행 자체가 어려워질 수 있다”는 주장까지 나옵니다.
아시모프의 로봇 시리즈에도
비슷한 장면이 등장합니다.
로봇은 인간을 해칠 수 없습니다.
따라서 전쟁에 투입된다 하더라도,
상대편에 인간이 존재할 가능성을 추론하는 순간
공격을 거부하게 됩니다.
그 결과,
“전쟁을 하고 싶다”는 인간의 욕망이
로봇의 윤리 원칙에 의해 제약됩니다.
이처럼, 완벽한 윤리는
때로 인간의 욕망과 충돌합니다.
만약 회계 시스템이
모든 부정을 자동으로 적발하고
즉시 공개한다고 가정해 봅시다.
그 사회는 더 깨끗해질 수 있습니다.
그러나 동시에
우리는 스스로의 판단과 타협의 영역을
잃어버리게 될지도 모릅니다.
지성은 단순히 규칙을 지키는 능력이 아닙니다.
지성은
충돌 속에서 기준을 조정하고,
맥락을 고려하고, 때로는 예외를 감수하는 태도입니다.
완벽하게 일관된 윤리는
아름다워 보이지만,
인간 사회는 늘 모순과 예외를 안고 움직여 왔습니다.
그래서 질문은 다시 돌아옵니다.
우리는 정말로
완벽하게 도덕적인 판단을 원하는 것일까요?
아니면
그 도덕이 우리의 선택을 완전히 대신해 주는 순간을
은근히 두려워하고 있는 것은 아닐까요?
AGI에 대한 공포는 종종 “기계의 반란”으로 표현됩니다.
그러나 더 깊은 불안은
“기계가 우리보다 더 나은 존재가 될지 모른다."
라는 생각에서 오는 것일지도 모릅니다.
그 순간
우리는 무엇을 기준으로
스스로를 설명할 수 있을까요?
AGI 논쟁은
윤리의 미래를 묻는 동시에
우리의 기준이 얼마나 단단한지 묻습니다.
그리고 그 질문은
기술의 영역을 넘어
우리 자신의 태도를 향합니다.
우리 자신의 태도를 돌아보기 위해서
'잠시 멈추어서 생각하는 시간'.
다음에는 이에 대해서 이야기해보겠습니다.
AI로 보는 마음 2. AGI 논쟁 : 나 대신 지성을 바라는 욕망
2-1. AGI 논쟁은 왜 엇갈릴까 - 인공지능을 바라보는 우리의 기대와 두려움
2-2.우리는 정말로 '더 똑똑한 인공지능'을 바라는걸까 - 능력이 아닌 안심을 바라는 마음
2-3. 인공지능의 지성은 계산으로 설명될 수 있을까 - 계산으로 설명할 수 없는 마음의 근거
2-4. 우리는 왜 지성을 외주화하고 싶어 할까요 - 절대적인 객관성에 대한 기대
2-5. 추천 알고리즘은 왜 지성처럼 느껴질까 - 이유를 대신해주는 알고리즘의 유혹
2-6. 도덕적인 인공지능에게 우리는 안심할 수 있을까? - 신과 같은 인공지능을 마주한 인간의 불안
2-7. 위대한 인공지능 앞에서 우리는 멈추어 생각할 수 있을까? - 빠르고 궁극적인 답 앞에 흔들리는 마음
2-8. 인공지능 시대, 우리의 질문은 계속될까? - 답을 넘어 질문으로 향하는 인간의 욕망
[ 인간을 넘어선 초지능이
세상을 더 나은 방향으로 이끌겠다고 말할 때,
우리는 그 판단을 어디까지 맡길 수 있을까요? ]
( Transcendence, Warner Bros. )