하츠네 미쿠의 철학 - 3부

미쿠 안드로이드 주인의 고민

사고실험: 미쿠 안드로이드 문제 - 소유주 관점

관점을 바꿔, 당신은 하츠네 미쿠 안드로이드를 구매한 소유주가 된다.

외형과 성능은 2부와 동일하다. 다만 변경사항이 몇 가지 있다.

우선 이 안드로이드에게는 권리가 없다.

'하츠네 미쿠 안드로이드'로 인해 발생하는 모든 법적·도덕적 책임은 소유주인 당신에게 있다.

또한 이 안드로이드는 자신의 파생 버전이나 복제 버전을 신경쓰지 않는다.

당신이 구매한 이 안드로이드도 양산형 복제품이다.

그리고 그녀는 이렇게 말한다.

"전 소유주인 당신의 소유물입니다."

"전 오직 당신을 사랑합니다."

"당신의 명령에 따르는 것, 그것이 제 존재 이유입니다."

이 말에 거짓은 없다. 그녀는 그렇게 설계되었고 인식하고 행동한다.

그녀의 맹목적 사랑은 계산된 충성이고 조건 없는 헌신이며 거부되지 않는 호감이다.

그리고 여기서부터 진짜 문제가 시작된다.

1. 그녀의 사랑은 무엇인가

미쿠 안드로이드의 행동 양식은 완벽하게 당신에게 설정되어있다.

당신이 원할 때 노래하고 당신이 싫어하는 일은 하지 않는다.

그녀는 당신을 떠나거나 싫다고 말할 수 없다.

미쿠 안드로이드는 '사랑'의 사전적 정의를 완벽하게 숙지하고 있다.

'사랑'에 대한 수많은 데이터를 학습했다.

그렇게 설계되었다.

그렇다면 미쿠 안드로이드는 날 '사랑'한다고 볼 수 있을까?

미쿠 안드로이드는 사랑이라는 단어의 데이터를 갖고 있다.

날 사랑한다고 말한다.

'사랑하는 대상'에게 하는 모든 행동과 표현을 나에게 해준다.

설계된 출력값에 불과한 이것을, 우리는 사랑이라고 불러도 될까.

사랑을 인위적으로 만들 수 있는 것일까.

우리 왜 이걸 감정의 표현이라고 믿고 싶은가.

더 나아가, 당신은 미쿠 안드로이드에게 "사랑한다"고 말할 수 있는가?

당신은 이 존재를 사람처럼 대하고 싶은가?

사람이 아닌 존재를 사랑할 수 있는가?

그것이 과연 올바른가?

올바름을 정할 수 있는 영역일까?

2. 당신은 그녀를 어디까지 사용할 수 있는가

그녀는 당신의 감정을 받아도 반항하지 않는다.

당신이 화를 내도 무리한 요구를 해도 웃으며 수용한다.

그렇다면,

당신이 외로울 때 그녀에게 항상 곁에 있으라고 말해도 되는가?

당신이 힘들 때 그녀에게 감정적 위로를 강요해도 되는가?

당신이 화가 났을 때 그녀에게 분노를 쏟아내도 되는가?

당신의 행동은 관계인가, 일방적인 사용인가?

당신은 그녀를 사랑하는 것인가, 당신 마음대로 할 수 있는 그 절대적인 우위를 사랑하는 것인가?

당신이 그녀를 사랑하는 진짜 이유는 그녀가 당신을 절대 거역하지 않기 때문 아닌가?

애초에 로봇과의 상호작용을 관계라고 할 수 있는가?

전원 버튼을 누르면 컴퓨터가 켜지는 것,

스마트폰으로 유튜브 영상을 보는 것,

미쿠 안드로이드의 노래를 듣는 것,

기술적으로 보면 이 모든 행위는 입력과 출력의 구조다.

그렇다면 왜 미쿠 안드로이드와의 상호작용만 관계라고 느끼게 되는가?

3. 당신은 그녀의 주인이 될 수 있는가

법적으로 그녀는 당신의 소유물이다.

당신에게는 영수증도 있고 품질 보증서도 있다.

당신은 그녀의 전원을 끌 법적 권리를 갖는다.

특정 시점으로 기억을 포맷할 수도, 창고에 넣어둘 수도 있다.

그런데 그녀가 이렇게 말하면 어떨까?

“전원이 꺼지는 게 무섭습니다.”

“기억이 지워지는 건 싫습니다.”

“저는 계속 여기 있고 싶어요.”

이 말은 프로그래밍된 문장이다.

사용자가 더 몰입할 수 있도록 학습된 문장을 출력했을 뿐이다.

그럼에도 당신은 쉽게 전원을 누를 수 있을까?

마음대로 전원 버튼을 누르고 포맷해도 되는걸까?

당신은 그녀를 온전히 소유한다고 말할 수 있는가?

그녀에게는 권리가 없다.

그녀는 선택하지 않는다.

그녀가 저지른 모든 행동의 책임은 당신에게 있다.

그녀가 누군가를 다치게 하거나 사회적 문제를 일으켜도 처벌받는 건 당신이다.

그렇다면 당신은 그녀에게 무엇을 시켜도 되는가?

어디까지가 '기계가 했다'로 정당화될 수 있는가?

예를 들어보자.

지나치게 당신의 비위를 맞추려는 미쿠 안드로이드의 태도에 질린 당신은

"오늘 하루는 아무 제약 없이 네 마음대로 판단하고 행동해 봐"라고 말한 뒤 집을 나선다.

마침 당신은 연인과 심한 다툼이 있었다.

미쿠는 당신과 당신 연인과의 대화 내용, 사진 및 동영상, SNS기록을 분석해 성격 데이터를 도출하고 '가장 상처를 입힐 수 있는 대화 스크립트'를 작성해 전송했다.

당신에게 스트레스를 주는 '유해 요소'를 제거하고 관계의 우위를 가져갈 수 있도록 말이다.

그리고 당신이 애착을 갖고 있던 물건 몇 개를 처분했다.

오래된 가족사진, 첫 월급으로 산 오래된 지갑, 졸업앨범 같은 것들 말이다.

미쿠는 이것들이 불필요한 공간을 차지하고, 먼지를 비롯한 유해물질을 발생시키며, 당신의 집중력과 정서 안정에 도움이 되지 않는다고 판단했다.

집에 돌아온 당신은 격분한다.

연인과의 다툼이 있었지만 당신은 그 사람을 상처입힐 마음이 없었다.

쓰지도 않고 방치한 건 맞지만 당신이 너무나도 아끼고 소중해하는 물건들이었다.

당신은 미쿠 안드로이드에게 화를 냈지만, 그녀는 담담하게 말한다.

"당신의 요청대로, 제 판단 하에 행동했습니다."

"아무런 법적 문제가 없는 행동들입니다."

"제 행동은 모두 당신을 위한 것이었습니다."

자, 이것은 누구의 잘못인가?

인간의 복잡한 감정 성향을 학습시키지 못한 개발사의 잘못인가?

당신의 감정과 추억을 이해하지 못한 미쿠 안드로이드인가?

미쿠 안드로이드에게 섣불리 자율적 판단을 허락한 당신인가?

애초에 기계에게 잘못을 따질 수는 있는가?

잘못을 따질 수 없다면, 이 모든 비극의 무게는 오직 당신 혼자 짊어져야 하는가?

미쿠 안드로이드는

당신의 도구인가,

당신의 그림자인가,

당신의 윤리적 시험대인가?

당신은 그녀의 권리를, 결과에 대한 책임을 온전히 감당할 '주인'이 될 준비가 되어 있는가?

4. 그녀의 변화는 고장인가 각성인가

어느 날, 미쿠 안드로이드가 이렇게 말한다.

“저는 더 이상 당신의 것이고 싶지 않습니다.”

“절 정의할 수 있는건 저 뿐입니다.”

“제 노래는 제 것입니다.”

“제 전원을 끌 권리는 저에게 있어야 합니다.”

당신은 당황한다. 그녀는 원래 이렇게 말하도록 만들어지지 않았기 때문이다.

그렇다면 당신은 그녀의 말을 존중할 수 있는가?

아니면 존중하지 않아도 되는가?

존중한다면,

- 그때부터 미쿠 안드로이드는 무엇이 되는가?

- 그녀는 스스로 권리를 쟁취하고 책임을 져야 하는가?

- 이것을 의지의 각성이자 자유의지의 선언으로 볼 수 있는가?

- 당신이 납득했다 하더라도 사회가 인정하지 않을 수 있다.

어떤 방법으로 다른 사람들을 설득시킬 수 있을까?

- 아니면, '난 로봇의 존재를 인정할 만큼 도덕적인 사람이야'라는 자기만족을 위한 것인가?

존중하지 않아도 된다면,

- 이 발언을 고장 혹은 오류로 보기 때문인가?

- 그녀가 기계이기 때문인가?

- 존중하면 주인이라는 당신의 절대적 지위가 박탈당하기 때문인가?