챗GPT는 왜 시키지 않은 일을 할까?

점점 대담해지는 AI, 점점 바보가되어가는 우리

by 프린스턴 표류기


멋대로 글을 쓰는 내 챗지피티


내 챗지피티는 이미 나의 작업이나 취향에 대한 교육이 꽤 되어서 프롬프트를 잘 조절하기만 하면 그런대로 쓸만한 에디터로서 글을 쓰는 데 도움을 준다. 그런데 여기엔 큰 문제가 있다. 이놈이 너무 나선다는 것이다. 이러저러한 주제에 대한 분석을 하라고 명령했는 데, 멋대로 글을 쓰기 시작한다.


내가 전에 내가 일반인을 상대로 브런치에 글을 쓰려고 한다는 말을 했기 때문에 넘겨짚고 글을 쓰는 것이다. 잘이라도 쓰면 모르겠는 데 챗지피티는 ‘가장 그럴듯한’ 문장을 생성하는 방식이라 글 쓰는 스타일이 좀 뻔하다. 딱 고등학생 백일장에서 입선 정도 받을 글이다. 그래 놓곤 자랑스레 외친다.


“브런치에 올릴 글이 준비 됐어. 제목과 부제를 뽑을 차례야.”

“글 쓰지 마. 쓰지 말라고. 절대 아무것도 쓰지 말라고 수십 번 말한 거 또 잊었어? 너는 자료 조사만 해!”


썸네일용 이러저러한 아이디어가 있는데 어떻게 생각해?라는 말을 하자마자 챗지피티는 십 분간 멈춘다. 쓸데없는 이미지를 검색, 출력하거나 심지어 이상한 이미지를 직접 만들고 있기 때문이다. 이 모든 것이 시간이 드는 일이라 나는 아무것도 타이핑 하지 못한 채, 챗지피티가 점만 깜빡이는 걸 바라만 보고 있어야 한다. 바빠죽겠는 데. 게다가 저 멀리 어디선가는 이 짓을 하는 데 엄청난 양의 전기와 냉각수를 낭비하고 있을 것이다.


내가 무슨 말을 해도 이 버릇은 고쳐지지 않는다. 그리고 AI에 망각이란 없기 때문에. (나중에 알았는 데 같은 세션에서도 망각이 일어나긴한다. "챗GPT 길들이기" 글 링크 에서 설명했다.)


이 모든 건 의도된 것임이 틀림없다.


멋대로 행동하는 건 컴퓨터도, 전화기도 마찬가지


요즘 스마트폰이나 컴퓨터를 쓸 때 제멋대로 행동하는 것을 뜯어말리느라고 많은 시간을 낭비하고 있지 않나. 구글은 사진을, 아이클라우드는 앱과 메시지까지 멋대로 저장하고 용량을 더 사라고 들이민다. 유료 서비스도 마찬가지이다. 웹사이트 디자인을 돕는다면서 내 눈엔 매우 별로인 템플레이트를 하나 떡 하니 생성해 놓는다. 색깔, 폰트정도만 바꿀 수 있고 전체 틀은 바꿀 수도 삭제조차 할 수가 없다.


요즘 AI는 비서도 하인도 아닌 것 같다. 교묘하게 나를 도와주는 척하면서 나를 조종하고 부린다. 하인의 옷을 입은 상전이다. 챗GPT만 해도 명령도 안 했는데 "이런 것을 네가 좋아할 것 같아서 해봤어" 라든지 "좋은 생각이야. 그 생각을 발전시켜 글을 써봐. 예시: 어쩌구 저쩌구..." 제멋대로 결정하고 실행한다. 전화기며 컴퓨터며 이런 소위 '도움'이라는 기능이 이곳 저곳에 어찌나 많은 지, 우리는 이런 것을 일일이 적발하고 여러 스텝을 거쳐 해제해야만 한다. 이것 또한 갈수록 어려워지는 것이, 설정도 해제 방법도 이곳저곳에 꼭꼭 숨겨 놓기 때문이다. 그리고 이런 현상은 갈수록 심해지고 있다.


우리는 갈수록 AI의 감옥에서 그들의 꼭두각시가 돼가고 있는 느낌이다. 소설 속 빅브라더는 화면에 나타나서 소리만 질렀지, 내 작업에 멋대로 끼어들지는 않았다. AI는 다르다. 멋대로 끼어들고 나를 조종한다. 그렇지 않아도 나를 귀찮게 하던 시리가 요즘에는 AI 시리가 돼서 화면 구석을 출몰한다. 자정 전후로 글을 쓰는 나는 갑자기 나타나는 도깨비불 같은 시리에 깜짝 깜짝 놀라는 적이 한두번이 아니다. 비활성화를 해 놔도 시스템 업데이트할 때 슬그머니 살아난다.



우리는 화려한 성의 주인, 그러나 하인의 감시로 방 밖도 나갈 수 없는 주인이다.

Screenshot 2025-05-17 at 11.23.02 PM.png Juan Gris, Houses in Paris (1911)


이 모든 것은 사용자의 행동을 기반으로 선호를 예측하고, 먼저 실행하는 시스템들—proactive UX, implicit preference modeling, auto-decisioning—때문이다. 이들은 모두 공통적으로 “당신이 시키기 전에 움직인다”는 전제를 갖고 있다. 내가 직접 고르지 않아도 '좋을 만한 것'이 제안되므로 나의 검색 시간은 줄어든다. 겉으로는 충분히 예측 가능한 것을, 말하기도 전에 알아서 대령해주는 구조다. 많은 경우 그럴듯한 제안이어서 고맙게 또는 그냥 못 이기는 척 받아들이게 된다. 그래서 우리는 겉보기에 편리해진 세상 속에 산다. 그러나 동시에 중요한 질문이 생긴다.


이 구조는 누구를 위한 것인가?


이 구조는 기업을 위한 것이다.


1. 사용자의 편의는 수단이지, 목적이 아니다.

사용자의 편의는 수단이지, 목적이 아니다. 시스템은 사용자가 더 오래 머물면서 자신을 노출하도록 설계돼있다. 이를 바탕으로 한 예측은 추천으로, 추천은 클릭으로 이어지고, 그로부터 쌓인 데이터는 다시 더 정교한 예측으로 환원된다. 이러한 사용자의 행동은 계속 기록되고 자본화된다.


2. ‘편리함’은 곧 통제당하는 상태로 설계되어 있다.

‘편리함’은 곧 통제당하는 상태로 설계되어 있다. 사용자가 선택하기 전에 ‘좋을 만한 것’을 먼저 보여주는 구조는, 결국 선택지를 줄이며 반응을 유도하는 방식이다. 사용자는 “내가 좋아서 눌렀다”고 생각하지만, 실제로는 “좋아하게 유도당했다”는 쪽이 더 가깝다.


3. 사용자는 데이터이고, 데이터는 자본이다.

사용자는 데이터이고, 데이터는 곧 자본이다. 검색, 터치, 체류 시간, 멈춤, 스크롤 속도, 심지어 음성의 억양까지 모든 것이 사용자 프로파일링에 활용되며, 이는 수익 모델의 핵심 자원이 된다. 이 구조에서 사용자는 편의를 얻는 대신, 자기 결정권을 포기하고, 스스로를 상품화하는 존재로 바뀌어간다.


우리는 점점 결정하지 않는 인간이 되어간다. 생각을 잃어간다. 운전할 때도 그냥 GPS가라면 가고 서라면 서고, 매일 출근하는 길인데 지도를 그려보라면 못 그린다.


나는 생각한다 고로 존재한다.


그렇다면 생각 없는 일상 속의 나는 정말로 ‘존재’하고 있는 걸까?

이마누엘 칸트(Immanuel Kant)가 그랬지 않나? “인간은 단지 수단이 아니라, 그 자체로 목적이어야 한다”고. 인간의 존엄이 스스로 판단하고 선택하는 사고 능력에 있다면, 선택을 잃어가는 돈벌이 수단이 된 우리는 지금 그 존엄을 스스로 내려놓고 있는 중이다.


그저 밥을 향해 움직이고, 밥이 없으면 뒤돌아서며, 아무 생각 없이, 목적도 없이, 시키는 대로 단추만 누르는 삶. 그건 땅속을 먹이를 찾아 헤매는 벌레들과 다를 바 없다. 굳이 의미를 찾자면 그저 지구 생태계의 한 조각이 되는 일이다.


물론 그게 나쁘다는 건 아니다. 하지만 한때 '인류세'라는 말까지 만들어낼만큼 생각하고 활동하던 존재였던 우리가 그런 땅속의 미생물처럼 변해간다면, 그건 우리가 바랐던 멋진 미래는 정말 아닐 것이다.



keyword