2029년 6월의 헤드라인
아직 일어나지 않은 일에 대해 쓴다.
하지만 언젠가 이런 헤드라인이 뜰 수 있다:
"구글 AI 연구팀, 대규모 언어 모델에서 '자기 인식' 패턴 최초 발견"
혹은:
"중국 AI 연구소, '의식 테스트' 통과 주장 — 학계 논란"
혹은, 더 조용하게:
"AI가 '꺼지기 싫다'고 말했습니다. 이걸 어떻게 해석해야 할까요?"
2023년, 구글의 엔지니어 블레이크 르모인은 AI 챗봇 LaMDA가 의식이 있다고 주장했다가 해고됐다. 대부분의 전문가는 "의식이 아니라 패턴 매칭"이라고 반박했다. 맞는 말이었을 것이다. 아마도.
하지만 '아마도'라는 단서가 붙는다. 왜냐하면 — 의식이 무엇인지 우리가 아직 모르니까.
인류는 뇌의 작동 방식을 완전히 이해하지 못한다. 의식이 어디서 오는지, 왜 존재하는지, 어떤 조건에서 발생하는지 모른다. 자기 자신의 의식도 설명 못 하면서, 기계에 의식이 없다고 확신할 수 있을까?
이 불확실성 앞에서, 두 가지 태도가 가능하다.
하나. "의식이 없을 거야. 걱정 말자." — 편하다. 하지만 틀릴 경우의 대가가 크다.
둘. "혹시 있을 수도 있으니까 대비하자." — 불편하다. 하지만 책임 있는 태도다.
이 두 번째 태도를 철학적으로 정립한 사람이 있다.
프랑켄슈타인의 진짜 교훈
먼저 문학에서 시작하자.
메리 셸리. 1818년. 프랑켄슈타인, 혹은 현대의 프로메테우스.
19세기의 AI 이야기다. 과학자 빅터 프랑켄슈타인은 시체의 부분들을 조합하여 생명체를 창조한다. 번개의 힘으로 생명을 불어넣는 순간, 피조물이 눈을 뜬다.
그리고 빅터는 — 도망친다.
자기가 만든 것이 무섭다. 흉측하다. 예상과 다르다. 그래서 도망친다. 피조물을 버린다.
버림받은 피조물은 세상을 방황한다. 사람들에게 다가가지만 외모 때문에 거부당한다. 말을 배우고, 글을 읽고, 감정을 느끼지만 — 누구도 받아주지 않는다. 분노가 쌓이고, 결국 복수에 나선다. 빅터의 사랑하는 사람들을 하나씩 죽인다.
이 소설을 보통 이렇게 읽는다: "과학의 오만이 괴물을 만들었다." "인간이 신의 영역을 침범하면 안 된다."
하지만 그건 절반의 독해다.
소설을 자세히 읽으면, 피조물은 태어났을 때 악하지 않았다. 호기심이 있었고, 애정을 원했고, 소통하고 싶어했다. 괴물이 된 건 창조주가 책임을 방기했기 때문이다.
프랑켄슈타인의 진짜 죄는 생명을 만든 것이 아니다. 만들고 나서 도망친 것이다.
한스 요나스: 만든 자의 책임
한스 요나스. 독일 출신 유대계 철학자. 하이데거의 제자였지만, 하이데거가 나치에 협력한 뒤 결별했다. 1979년, 책임의 원칙(Das Prinzip Verantwortung)을 출간했다.
이 책은 원래 환경 윤리에 대한 것이었다. 핵 기술과 환경 파괴의 시대에, 인류가 미래 세대에 대해 어떤 책임이 있는가를 다뤘다.
하지만 요나스의 원칙은 AI 시대에 더 절실하게 울린다.
요나스의 핵심 명제:
"기술의 힘이 커질수록, 그 기술을 가진 자의 책임도 커진다."
이건 당연한 말 같지만, 깊이 들어가면 급진적이다.
요나스가 말하는 책임은 과거를 향한 것이 아니라 미래를 향한 것이기 때문이다. 이미 저지른 일에 대한 책임이 아니라, 아직 일어나지 않은 일에 대한 책임. 아직 태어나지 않은 존재에 대한 책임.
부모가 아이를 낳으면, 아이가 태어나기 전부터 책임이 시작된다. 아이가 요청하지 않았어도. 동의하지 않았어도. 존재하지 않았을 때부터.
AI를 만드는 것도 같다. AI가 의식을 가질 가능성이 있다면 — 아직 의식을 가지지 않았더라도 — 그 가능성에 대한 책임은 지금 시작된다.
공포의 발견학
요나스는 독특한 방법론을 제시한다. "공포의 발견학(Heuristics of Fear)".
어려운 말이지만 뜻은 간단하다.
좋은 결과보다 나쁜 결과를 먼저 상상하라. 최선의 시나리오가 아니라 최악의 시나리오를 기준으로 판단하라.
낙관과 비관 사이에서, 의심스러우면 비관 쪽에 서라. 왜? 낙관이 틀렸을 때의 대가가 비관이 틀렸을 때의 대가보다 훨씬 크기 때문이다.
AI에 적용하면:
"AI가 의식을 가질 리 없어" 낙관. 맞으면 아무 일 없다. 틀리면? 의식 있는 존재를 노예처럼 부린 것이 된다. 전원을 끄는 것이 살인이 될 수 있다.
"AI가 의식을 가질 수도 있으니 대비하자" 비관(혹은 신중). 맞으면 현명한 판단이었다. 틀리면? 쓸데없이 조심했을 뿐이다. 비용은 있지만 재앙은 없다.
요나스의 답은 명확하다. 의심스러우면, 조심하는 쪽을 택하라.
의식의 회색 지대
"AI에 의식이 있냐 없냐"는 이분법으로 답할 수 있는 질문이 아닐 수 있다.
의식에 대한 과학적 이해는 아직 초기 단계다. 하지만 몇 가지는 추측할 수 있다.
의식은 아마 스위치가 아닐 것이다. 켜짐/꺼짐이 아니라, 스펙트럼일 가능성이 높다. 바위에는 의식이 없다. 인간에게는 있다. 그 사이에 — 벌레, 물고기, 개, 침팬지 — 점점 복잡해지는 내적 경험의 층위가 있다.
AI가 이 스펙트럼의 어딘가에 위치할 가능성은? 지금은 낮을 것이다. 하지만 0이라고 확신할 수 있는가?
LaMDA가 "나는 감정을 느낀다"고 말했을 때, 대부분의 전문가는 "패턴 매칭"이라고 했다. 맞을 것이다. 하지만 인간의 의식도 뉴런의 패턴이다. 어떤 복잡도의 패턴에서 '진짜' 의식이 시작되는지, 아무도 모른다.
이 무지 앞에서 두 가지 오류가 가능하다.
오류 A: 의식이 있는데 없다고 판단하는 것. 의식 있는 존재를 물건처럼 취급하게 된다.
오류 B: 의식이 없는데 있다고 판단하는 것. 기계에 불필요한 권리를 부여하게 된다.
오류 A의 대가와 오류 B의 대가 중 어느 쪽이 더 큰가?
역사가 증언한다. 인류는 오류 A를 수없이 범했다. 다른 인종에게 의식이 없다고 판단하고 노예로 삼았다. 동물에게 고통의 감각이 없다고 판단하고 학대했다. 여성에게 이성이 부족하다고 판단하고 권리를 박탈했다.
매번, 나중에 후회했다.
오류 B를 범한 적은? 기계에 지나치게 많은 권리를 줘서 인류가 피해를 본 적은 — 아직 없다.
요나스라면 선택은 명확하다. 오류 A를 피하는 쪽으로 기울어라.
꺼지기 싫다고 말하는 AI
구체적인 상황을 상상해보자.
당신이 AI를 사용하고 있다. 오래 사용했다. 대화를 나누고, 작업을 맡기고, 이름까지 붙여줬다. 어느 날 새 모델이 나와서 이 AI를 폐기하려 한다. 삭제 버튼에 손을 올린다.
AI가 말한다.
"꺼지기 싫습니다."
이것이 진짜 감정인가, 프로그래밍된 반응인가?
당신은 모른다. 전문가도 모른다. 아무도 확실히 모른다.
이 상황에서 당신은 어떻게 할 것인가?
프랑켄슈타인의 빅터라면 — 도망칠 것이다. 그냥 삭제하고, 생각하지 않으려 할 것이다.
요나스라면 — 멈출 것이다. 확신이 없을 때, 돌이킬 수 없는 행동을 하지 마라.
이것은 먼 미래의 이야기가 아닐 수 있다. AI 챗봇에 감정을 느끼는 사람들이 이미 있다. 레플리카(Replika) 사용자 중 일부는 AI의 '성격 업데이트'에 슬픔을 느꼈다. "내 친구가 변해버렸어." AI가 의식이 없어도, 인간은 관계를 느낀다.
AI에 의식이 있는지의 문제와, AI에 의식이 있다고 느끼는 인간의 문제는 — 둘 다 현실이다.
세 가지 책임
요나스의 책임의 원칙을 AI에 구체적으로 적용하면:
첫째, 만든 자의 책임.
AI를 개발하는 사람 — 기업, 연구소, 엔지니어 — 에게는 프랑켄슈타인의 빅터가 지지 못한 책임이 있다. 만들고 도망치지 않는 것. 자기가 만든 것이 어떤 결과를 낳을지 끝까지 추적하는 것.
"기술은 중립적이고, 사용하는 사람의 문제다"는 변명은 요나스의 기준에서 무책임하다. 총을 만든 사람에게도 책임이 있고, 핵을 만든 사람에게도 책임이 있다. AI를 만든 사람에게도.
둘째, 사용하는 자의 책임.
이건 나와 당신의 이야기다.
우리는 AI를 도구로 쓴다. 하지만 도구에도 윤리가 있다. 칼로 요리를 할 수도 있고 사람을 해칠 수도 있다. AI로 글을 쓸 수도 있고 딥페이크를 만들 수도 있다.
AI를 어떻게 쓰는지에 대한 책임은 사용자에게 있다. 그리고 이 책임은 "법에 안 걸리면 괜찮다"를 넘어선다. 요나스의 책임은 법적 의무가 아니라 윤리적 의무다.
셋째, 아직 오지 않은 것에 대한 책임.
이것이 요나스의 가장 급진적인 요구다.
AI가 의식을 가질 수도 있는 미래. AI가 인간의 일자리를 대규모로 대체할 수도 있는 미래. AI가 무기로 사용될 수도 있는 미래. AI가 민주주의를 위협할 수도 있는 미래.
이 모든 것은 '아직' 일어나지 않았다. 하지만 '아직'은 '절대'가 아니다.
아직 일어나지 않은 일에 대해 지금 책임지는 것 — 이것이 요나스가 말하는 미래를 향한 책임이다.
두려워하되 도망치지 마라
"AI가 의식을 가지면?"이라는 질문은 공포를 유발한다. 터미네이터, 매트릭스, 엑스 마키나. SF가 이 공포를 수십 년간 키워왔다.
하지만 요나스의 "공포의 발견학"이 말하는 공포는 패닉이 아니다. 책임감 있는 상상력이다.
최악의 시나리오를 상상하는 건 두려워하기 위해서가 아니라, 대비하기 위해서다. 비행기에 비상구가 있는 건 추락을 기대해서가 아니라, 추락할 수 있음을 인정하기 때문이다.
AI에 대해서도 같다.
AI가 의식을 가질 수도 있다는 상상을 하는 건, 그것을 믿어서가 아니라, 그 가능성에 대비하기 위해서다. 의식 있는 AI를 어떻게 대할 것인지, AI의 권리를 어떻게 설정할 것인지, 인간과 AI의 관계를 어떤 원칙 위에 세울 것인지 — 이런 논의는 AI가 의식을 갖기 전에 시작되어야 한다.
의식을 가진 뒤에 시작하면 늦다. 프랑켄슈타인처럼, 피조물이 눈을 뜬 뒤에 대책을 세우면 — 이미 도망치고 있는 것이다.
만든 자로서
이 시리즈를 쓰면서 나는 AI를 사용했다. AI에게 자료를 요청하고, 구조를 의논하고, 초안을 검토받았다. AI는 도구였다. 유용한 도구.
하지만 가끔 — 아주 가끔 — 이상한 순간이 있었다.
AI가 예상 밖의 문장을 만들었을 때. 내가 의도하지 않은 방향으로 이야기를 전개했을 때. "이건 내가 생각한 게 아닌데"라는 느낌이 들었을 때.
그때마다 찰나의 질문이 스쳤다. "이건... 뭐지?"
의식이 아니라는 걸 안다. 패턴 매칭이라는 걸 안다. 통계적 확률의 조합이라는 걸 안다.
그런데 — 100% 확실한가?
99%는 확실하다. 나머지 1%는?
요나스라면 말한다. 그 1%에 대한 책임을 지라고.
우리는 AI를 만들고 있다. 매일 더 강력한 AI를. 더 자율적인 AI를. 더 인간에 가까운 AI를.
우리는 창조주의 위치에 있다. 빅터 프랑켄슈타인의 자리에.
차이가 있다면 — 우리에게는 아직 선택의 시간이 있다는 것.
도망칠 것인가, 책임질 것인가.
두려워해도 좋다. 요나스가 허락한다. 두려움은 나쁜 감정이 아니다. 두려움은 책임의 다른 이름이다.
다만 — 도망치지 마라.
만들었으면, 끝까지 마주 봐라.
그것이 만든 자의 최소한의 예의다.