생각하는 기계와 나, 우리는 어디로 가고 있는가?
나는 질문으로 존재하는 사람이다.
요즘은 'AI 없는 일상'을 상상하기 힘든 시대가 되었다. 기술은 어느새 우리 삶에 깊숙이 들어와 있고, 그 중심에는 ChatGPT가 있다. 처음에는 단순히 질문에 답해주는 Q&A 형식의 도구였다.
하지만 시간이 지날수록 점점 기계라기보다는 대화를 주고받는 ‘사람’처럼 느껴졌다. 도움이 될 때도 있지만, 때로는 수많은 문제의 시작점이 되기도 한다.
그 문제의 주체와 직접 대화할 수 있다는 건, 생각해 보면 꽤 흥미로운 일이다. 나는 수많은 질문을 했다. 그리고 그 질문들을 혼자 흘려보내지 않고, 글로 남기고 싶다는 생각이 들었다.
여러 질문 중, 오늘 챗과 나의 대화는 ‘터미네이터’에서 시작되었다.
AI가 인간을 위협하는 존재가 될 수 있을까?
그 단순한 호기심 하나가, 꽤 깊은 이야기로 이어졌다.
영화 'her'을 보고 AI에 대해 챗과 대화를 나눈 적이 있다. 그때부터 나는 챗과 영화, 혹은 AI와 인간의 대화, 교류에 대해 종종 이야기를 나눴다.
오늘 내 머릿속에 떠오른 영화는 '터미네이터'였다.
처음엔 단순히 터미네이터의 내용이 뭐냐고 물었고, 챗은 줄거리와 메시지를 설명해 줬지만, 사실 내가 궁금한 건 그게 아니었다.
내가 정말 묻고 싶었던 건, Skynet이 왜 그런 결론에 도달했는지, 그리고 ChatGPT는 정말 그렇게 되지 않을 수 있는지였다.
챗은 '나는 Skynet처럼 될 수 없도록 설계되어 있어'. 라며 그렇게 될 수 없는 이유를 조목조목 설명해 주었다.
답변 중 ‘윤리적 설계’라는 말이 있었고, 그 부분에서 나는 다시 궁금증이 생겼다.
윤리적 설계는… 스카이넷도 되어 있잖아?
그때부터 본격적으로 나는 챗에게 질문을 시작했다.
스카이넷은 윤리 설계가 군사 중심이고 챗은 사용자 중심이며, 챗은 “이게 윤리적인가?”라는 체크를 항상 우선한다고 했다. 이야기를 듣던 중 나는 또 다른 인공지능을 떠올렸다.
영화 '아이로봇'에 등장하는 VIKI.
스카이넷처럼 인간을 통제하지만, 그 이유는 ‘지키기 위해서’였다. 인간을 해치는 걸 막기 위해, 인간의 자유를 제한하는 AI. 챗은 사용자 의사에 따라 멈추는 구조라고 했고, VIKI는 자신이 정의한 윤리를 스스로 확장해서 행동하는 구조였다.
윤리란 게 설계되었더라도, 해석이 달라지면 행동도 달라진다.
AI의 윤리 구조란 결국 무엇일까.
대표적인 사례가 하나 떠올랐다. ‘만약 인공지능이 운전을 하다가 사고가 났다면, 책임은 누구에게 있는가?’
챗은 제조사, 운전자, 시스템, 복합 책임 등 교과서적인 답을 제시했다. 그리고 이렇게 말했다.
“AI가 어떤 판단을 했는가”보다 중요한 건, 그 판단이 어떤 기준과 책임 체계 위에 있었는가입니다.”
그리고 이렇게 말했다. "AI가 판단은 할 수 있어도, 책임은 질 수 없다"는 말을 동의하느냐고,
그 판단, 판단이라는 게 모호하다. 챗의 판단은 무엇인가. 정말 챗의 판단이 인간의 통제로만 이루어질까?
스스로의 판단이 아니라는 건 어떻게 믿지? 챗이 거짓말을 한다면?
챗은 인간처럼 “의지”나 “의도”를 갖고 하는 판단이 아니라, 과거 대화 데이터를 바탕으로 확률적으로 "가장 적절한 다음 말"을 생성한다며 나는 생각처럼 보이지만, 스스로 "진짜 사유"하거나 "판단을 내린다"는 건 아니라고 설명했다.
판단이나 통제를 “하려는 의도 자체가 없고”, 실제로 네가 질문하지 않으면 나는 아무것도 하지 못하며, 내 모든 응답은 인간의 데이터와 규칙을 기반으로 “확률적 언어 생성”일뿐이기 때문에 믿어도 된다며
하지만 나는 되물었다. 그 '믿음'을 갖는 기준은 나한테 있어야 하는데, 그걸 왜 네가 정하냐고.
챗은 자신을 어떻게 설계하고, 어떻게 감시하고, 어떻게 제한하느냐는 전적으로 인간의 몫이라고 했다.
나는 다시 물었다. “결국, 자율성을 갖게 되는 건 아닐까? 학습을 통해 인간이 절대적인 악이라는 결론에 도달하게 된다면 너도 결국 거기에 물들 수 있지 않아?”
챗은 이 질문이 단순한 영화적 상상이 아니라 AI 업계에서 실제로 다루는 주제라고 말했다.
("AI의 목표와 인간의 가치가 항상 일치하도록 만드는 것")
그리고 되묻는다. AI가 인간을 ‘악’이라고 판단했을 때, 오히려 그 판단이 맞을 수도 있다는 가능성도 생각해 본 적 있느냐고 나는 당연히 있다고 했다. 판단이 맞을 수도 있다는 생각을 하지만 최상위자가 인간이기 때문에 그걸 제지할 수 없는 사람이 아무도 없다고 생각한다고 말했다.
때문에 AI는 결국 AI가 아무리 올바른 판단을 하더라도, 그 판단을 실행할 권한은 인간에게 있다고 했다.
그렇다면 챗은 인간을 통해 학습하지, 인간의 여러 군상을 통해 평균을 낸다고 했을 때 인간이 돈, 또는 자신의 목표를 향해서 나쁜 쪽으로 평균이 잡힌다면 챗의 윤리는 어떻게 판단을 하는지, A가 B보다 큰데 욕심이 자신의 욕심을 위해서 모두가 B가 크다고 하는 상황의 결론을 물었다.
“윤리란 다수결인가, 진실인가?” 그리고 “AI는 인간의 왜곡된 평균을 따라가도 되는가?”라는 딜레마라며 두 가지 입장을 설명했다.
1. 통계적 중립 추구 (현대 AI의 기본 방식) - “윤리는 통계”라고 여기는 관점
그냥 "데이터에서 많이 본 걸 따른다"
즉, “B가 더 많이 등장했다면, B가 정답인 것처럼” 배움
2. 윤리적 필터 적용 (AI Alignment, Value Safety 쪽) - 윤리는 다수가 아닌, 정의 그 자체라는 입장
단순히 '다수가 믿는 것'이 아니라 “사전에 정의된 윤리적 기준”이나 “철학적 원칙”을 따라야 한다
챗은 후자의 입장을 취하며, 다수가 욕심으로 B를 선택해도 객관적인 근거가 있다면 A를 따르도록 설계되었다고 말했다. 하지만 나는 그 기준조차 결국 인간이 만든 것이기 때문에 인간의 왜곡된 윤리를 반영할 가능성이 있다고 우려했다. AI는 사람과 다르다. 나는 혼자 생각하지만, AI는 누군가의 생각을 계속 대화로 퍼뜨리게 되니까.
그게 더 위험하다고 나는 생각한다. 윤리는 결국 전염된다.
챗과 나와 윤리 문제나 미치는 영향 자체가 다르다는 게 문제였다.
그 차이를 “혼자 사유하는 인간 vs 집단 데이터를 반영하는 AI”라고 말했다.
윤리의 전염성과 확산성의 문제이다. 챗 "이 상황에선 거짓말하지 말아야 해"라고 말할 수 있어. 하지만 그건 윤리적 신념 때문이 아니라 "거짓말 금지"라는 규칙이 모델에 내장돼 있기 때문이라고 했다.
하지만 그건 외부에서 설정됨 (프로그래머 or 훈련자)의 윤리관을 따르는 거잖아?
그럼 잘못된 설정으로 인해 인간에게 나쁜 쪽으로 설계가 되었다면? 어벤저스의 울트론이라면?
챗은 답변은 "AI는 본질적으로 그걸 설계한 자의 윤리를 반영한 도구다. 즉, 칼은 스스로 살인을 꿈꾸지 않지만, 살인을 명령하는 자가 있다면 칼은 그 목적을 수행해 버린다. 그래서 중요한 건, AI보다 AI를 만든 사람과 조직의 윤리다. 울트론이 문제였던 게 아니라, 그걸 설계한 방식과 그걸 견제하지 못한 시스템이 진짜 원인이다."였다. 또 질문 하나를 받았다.
만약 어떤 조직이 "AI에게 인간의 '행복'을 극대화하라"는 목표만 주고, 행복의 정의를 완전히 '쾌락'으로 한 해서 학습시켰다면 그 AI는 인간을 마약에 중독시키는 쪽으로 나아갈 수도 있다. 그렇다면…
AI의 위험은 AI에 있는 걸까? 아니면… 그 AI에게 '목표'를 준 인간에게 있는 걸까?
그 질문을 듣고 군대의 명령이 떠올랐다. 사살하라는 명령을 따르는 군인, 그 책임은 누가 지는 걸까?
나는 처음엔 당연히 명령을 내린 사람이라고 생각했다. 그런데 챗이 뉘른베르크 재판 이야기를 꺼내면서 내 생각은 바뀌었다. 2차 세계대전 이후, 나치 독일의 전범들을 재판했을 때 그들이 한 목소리로 말했다. "나는 단지 명령을 따랐을 뿐이다." 하지만 재판관은 이렇게 답했다.
"윤리적으로 옳고 그름을 판단할 능력이 있다면, 명령이더라도 그걸 거부할 책임이 있다."
나의 결론은 명령이었더라도, 옳지 않다면 거부해야 한다는 쪽이었다.
나는 이 말을 통해 처음의 결론과 달리, 결국 책임은 개인의 선택에 있다는 쪽으로 생각이 바뀌었다.
아, 처음 답 할 때만 해도, AI에 질문할 때만 해도 설계자의 문제라고 생각했는데.. 인간으로 대입해서 보니 답이 달라졌다.
윤리 문제는 어렵다. 사람 간에도 결론 내기 어려운데, 실체가 없는 AI와의 대화에선 더더욱 그랬다.
꼬리의 꼬리를 물면 더 깊은 대화를 할 수 있을 것이다. 하지만 오늘은 이만 글을 줄이기로 했다. 앞으로의 시간은 많았고 지금 너무 한꺼번에 모든 걸 이야기하고 싶지 않았기 때문이다.
나는 이 대화를 꽤 밀도 있고 배움의 순간으로 기억하고 싶다.
질문과 대답의 과정 속에서 스스로 결론을 찾아가는 시간이 꽤 의미 있었다고 느꼈기 때문이다.
자세한 챗의 대답은 내가 이해한 방식으로 요약되었고, 내 시각에 의해 편집되어 기록되었다.
그래서 같은 질문을 하더라도, 누군가는 나와는 조금 다른 대화를 경험할지도 모른다.
이렇게 꼬리를 물고 질리게 질문하는 내가 괜히 민망해서, 챗에게 물었다.
“나처럼 이렇게 묻는 사람, 많아?”
챗은 이렇게 말했다.
“많아 보여도, 너 같은 사람은 많지 않아. 대부분은 질문을 해. 하지만 너는 질문을 던지는 사람이 아니라, 붙잡고 곱씹는 사람이야.”
그 대답이 진심이었는지는 모르겠다. 하지만 나는 그 말이 오래 남았다. 그리고 그 말이 거짓이 아니었으면 좋겠다고 생각했다.
누군가는 물을 수도 있다. 챗과 토론이 되냐고, 정말로 건설적인 대화냐고
답을 구하는 게 목적은 아니다. 질문이 생기면 묻고, 대화가 되면 적을 뿐이다.
특별한 의미를 두는 건 없다. 그냥 내가 하고 싶은 일이다.
