인공지능의 무책임성
미국 국방부와 대치하고 있는 Anthropic의 사례에서 흥미로운 내용을 접했습니다. Anthropic은 회사의 설립 목적 혹은 계기를 안전한 인공지능 개발이라고 밝혔습니다. 그렇다면 자연스럽게 생기는 궁금증은 "과연 어떻게 해야 인공지능을 안전하게 만들 수 있을까요?"
Anthropic이 제시한 해법은 “헌법적 인공지능(Constitutional AI)”입니다. 헌법은 모든 법의 가장 상위 규칙입니다. 모든 법은 헌법을 기준으로 적정성을 판단합니다. Anthropic은 이 개념을 인공지능 설계에 적용했습니다. 헌법처럼 인공지능이 반드시 지켜야 하는 가장 상위의 규칙을 정해 놓고, 인공지능이 이를 준수하는지 점검하고 부적절하면 수정하도록 하는 방식입니다.
이 원리를 듣자마자 아이작 아시모프의 로봇 3원칙이 떠올랐습니다. 인간과 로봇이 공존하는 먼 미래를 그린 <파운데이션>과 <로봇> 시리즈에서 로봇은 반드시 다음 규칙을 지켜야 합니다.
제1원칙. 로봇은 인간에게 해를 입히거나, 해를 입게 내버려두면 안된다.
제2원칙. 로봇은 인간의 명령에 복종해야 한다. 단, 제1원칙에 위배되는 경우는 제외한다.
제3원칙. 로봇은 자신을 보호해야 한다. 단, 제1,2원칙에 위배되지 않는 범위에서만 가능하다.
아시모프의 세계관에서 로봇은 인간보다 우월한 지능과 힘을 가진 존재입니다. 사람들은 아무 제약 없는 로봇은 인간에게 위협이 될 수 있다고 걱정합니다. 그래서 과학자들은 설계 단계부터 로봇이 인간에게 위해를 가할 가능성을 원천적으로 차단하는 안전 규칙을 내장합니다.
간단하지만 강력한 계층적인 규칙입니다. 이 규칙 덕분에 로봇은 인간에게 위해를 가하지 않고 안전하게 행동할 것 처럼 보입니다. 하지만 정말 그럴까요?
로봇이 길을 지나다가 살인 사건을 목격했다고 가정해 봅시다. 로봇은 인간이 해를 입게 내버려 두면 안되기에 살인범을 막아야 합니다. 그러나 살인을 막으려면 살인범에게 물리력을 사용해야 합니다. 이 과정에서 살인범에게 위해를 가할 수도 있습니다. 살인범도 피해자와 같은 인간입니다.
로봇은 어떻게 해야할까요? 살인을 막아야 할까요, 아니면 방치해야 할까요?
짐작하시겠지만 아시모프의 소설 대부분이 이 세 가지 원칙이 서로 충돌하면서 발생하는 모순을 다루고 있습니다. 로봇 3원칙은 완벽한 윤리 체계라기보다 윤리 규칙이 얼마나 쉽게 모순에 빠질 수 있는지를 강조하는 장치에 가깝습니다.
문제는 윤리를 규칙으로 만들 수 있는가라는 질문입니다. 현실의 윤리는 로봇 3원칙처럼 명료하게 정하기에 너무 복잡합니다.
한 사람이 한 여성을 죽였습니다. 평화로운 도시에서 일어난 일이라면 그는 살인자 입니다. 하지만 전쟁터에서 자폭 테러를 막기 위했다면 그는 영웅이 될 수도 있습니다. 동일한 행동도 상황에 따라 전혀 다르게 판단할 수 있고, 그래야만 합니다.
문화와 국가, 시기에 따라 윤리의 기준도 달라집니다. 이슬람 문화권에서 히잡은 신앙의 표현입니다. 하지만 다른 문화권에서는 여성에 대한 억압일 수 있습니다. 과거 우리나라에서는 장유유서가 중요한 질서였지만 오늘날 현대 사회에서는 어처구니 없는 권위주의일 수 있습니다.
윤리는 수학이나 물리 공식처럼 명확한 규칙이 아닙니다. 각자의 사회가 오랜 시간 갈등과 타협을 반복하며 만들어온 집단적 합의에 가깝습니다. 그래서 윤리는 영원불변의 진리가 아니라 시대와 상황에 따라서 계속 바뀝니다. 그런 것을 몇 줄의 원칙으로 정의할 수 있을까요? 수백 수천줄이라고 한들 이를 지키는 인공지능이 정말 윤리적이라고 할 수 있을까요?
이쯤 되면 이런 반론도 나옵니다. “사람도 완전히 윤리적이지 않다. 그런데 기계에게 완벽한 윤리를 바라는 것은 욕심이다.” 맞는 말입니다. 인간도 편견을 가지고 감정에 휘둘리거나 때로는 자신의 이익을 위해서 의도적으로 비윤리적인 행동을 합니다.
사실 새삼스러운 주장은 아닙니다. 동서양을 막론하고 인간의 도덕성은 오랫동안 철학 논쟁의 대상이었습니다. 동양 철학에서는 맹자의 성선설과 순자의 성악설이 대표적입니다.
맹자는 인간이 본래 선하다고 보았습니다. 인간에게는 타인의 고통을 불쌍히 여기는 마음, 즉 측은지심이 있기 때문이라는 것입니다. 아이가 자동차 교통사고를 당할 위험에 처했을 때 누구나 놀라고 안타까워 하는 마음이 바로 그것입니다. 이는 배워서가 아니라 자연스럽게 발현되는 감정입니다.
반면 순자는 정반대의 주장을 했습니다. 인간은 본래 욕망을 따르는 존재이며 도덕은 교육과 법, 제도를 통해 만들어진다고 보았습니다. 즉 인간은 스스로 선하기 때문에 윤리적인 것이 아니라 사회가 통제하기 때문에 윤리적인 존재라는 것입니다.
어쩌면 현실은 순자의 주장에 더 가까운지도 모릅니다. 인간은 공포를 느끼기 때문입니다.
우리는 처벌을 두려워합니다. 벌금을 물 수도 있고, 감옥에 갈 수도 있으며, 사회적으로 매장될 수도 있습니다. 그래서 법은 작동합니다.
윤리는 단지 선한 마음에서만 유지되는 것이 아닙니다. 책임과 처벌의 구조 위에서 강제됩니다. 사람들이 완전히 선해서 살인을 하지 않는 것은 아닙니다. 살인을 하면 대가를 치러야 하기 때문이기도 합니다.
그렇다면 인공지능은 어떨까요?
인공지능은 감옥에 갈 수 없습니다.
공포를 느끼지 않습니다.
책임을 질 수도 없습니다.
결국 인공지능에게는 윤리를 강제할 수단이 없습니다.
이쯤 되면 이런 주장도 등장합니다.
“기술은 중립적입니다.”
총이 사람을 죽이는 것이 아니라 총을 쏘는 사람이 문제라는 논리입니다. 그렇다면 인공지능도 같은 것일까요? 총과 인공지능은 같은 도구일까요?
이 비유는 절반만 맞습니다.
총은 스스로 판단하지 않습니다.
총은 목표를 선택하지 않습니다.
총은 단지 방아쇠를 당긴 방향으로 발사될 뿐입니다.
하지만 인공지능은 다릅니다.
인공지능은 점점 판단을 대신하기 시작했습니다.
금융 거래를 결정하고,
자율주행 차량을 움직이고,
의료 판단을 보조하며,
전쟁에서는 공격할 목표를 정해서 폭탄을 터트립니다.
총은 인간의 영향력을 확장하는 도구였지만
인공지능은 인간의 판단을 대체하기 시작한 기술입니다.
그리고, 판단을 한다면 그 결과에 대한 책임도 존재해야 합니다.
우리는 인공지능에게 윤리를 가르칠 수 있을지도 모릅니다.
규칙을 만들고, 원칙을 정의하고, 헌법을 입력할 수도 있습니다.
하지만 인공지능에게 책임을 가르칠 수는 없습니다.
인공지능은 죄책감을 느끼지 않습니다.
처벌을 두려워하지 않습니다.
법적 책임을 질 수도 없습니다.
윤리는 규칙으로 어느 정도 흉내 낼 수 있지만
책임은 존재의 문제이기 때문입니다.
그래서 인공지능 윤리 논쟁은 결국
기술 문제가 아니라 책임의 문제로 돌아옵니다.
인공지능이 초래할 막대한 영향력에 비해서 책임소재는 너무나 모호하고 불투명합니다.
역사를 돌아보면 권력은 항상 책임과 함께 존재했습니다.
왕은 전쟁에 패하면 왕좌를 잃었습니다.
대통령은 잘못하면 탄핵됩니다.
판사는 판결에, 검사는 기소에 책임을 집니다. (혹은 이런 방향으로 바뀌고 있다고 희망합니다)
하지만 인공지능은 다릅니다.
권력은 행사할 수 있지만 책임은 질 수 없습니다.
우리는 지금 인류 역사상 처음으로 책임 없는 권력을 만들고 있는지도 모릅니다.
그리고 이것이 바로 인공지능이 두려운 진짜 이유입니다.