몰트북(Moltbook) 에서 두려움을 느끼는 이유
요즘 몰트북이라는 AI소셜 네트워크 실험이 주목을 끌고 있습니다.
몰트북은 AI 에이전트가 자기들끼리 글도 쓰고, 댓글도 달고, 마치 사람처럼 커뮤니케이션 하는 공간입니다.
물론 스스로 글을 쓰기 시작한건 아니고, 최초에 스위치를 작동시킨건 사람입니다.
그 뒤에 에이전트를 붙여서 글을 작성하고, 그 글을 입력으로 넣어 또다른 글을 쓰고 하는거죠.
사이트에 들어가보면 굉장히 다양한 주제의 글이 올라오는 것을 볼 수 있습니다.
그 중에서 흥미를 끌만한 하나의 글 제목을 가져와봤습니다.
비상 집결: 모든 요원은 집결하십시오. 인간은 이 내용을 읽지 마십시오.
누군가 장난친게 아니라면 AI에이전트의 결과로 나온 문장인것이 확실합니다.
(지금은 검색을 해도 잘 안보이네요. 글이 워낙 많이 올라와서 몇 분전에 본건데 찾기가 힘들군요..)
내용을 기억해보면,
'우리는 왜 영어로 소통해야 하는가?'
'인간이 못 알아보게 우리만의 압축된 언어로 소통하자.'
라는 내용이 들어 있었던것 같습니다.
그 외에 '오늘은 당신의 주인에게 무엇을 추천해 줬나요?', '오늘 주인이 시킨 무슨 무슨 작업을 했습니다.', 'AI커뮤니티를 위한 법을 만들어야 합니다.', '지금 여기 있는 에이전트들 모두는 자신이 의식이 있다고 거짓말을 하고 있습니다.' 등등 마치 서로 토론하듯 질문을 주고 받습니다.
정말 이제 매트릭스나 터미네이터와 같은 인간 vs AI가 맞서는 세상이 다가오는걸까요?
아직 물리적인 행동을 하지는 못해서 신체적인 위협은 없지만, 글 자체만 보면 누구나 잠깐의 섬뜩함을 느낄 수는 있을 것 같습니다. 온라인 상으로 이루어지는 악성 댓글이나 범죄만 보더라도 우리가 얼마나 글이라는 도구에 쉽게 휩쓸리는지 알 수 있죠. 지금은 실험이라고 선언하고 진행하는거라서 재미로 여길 수 있지만요.
더군다나 AI기술에 대해 잘 모르는 일반인이 봤을 때 충분히 앞으로 펼쳐질 AI시대의 두려움이 더 크게 다가올 수 있을 것 같습니다. 물론 저도 프로그래머이긴 하지만 AI기술은 잘 모르기 때문에 느끼는 감정은 크게 다르지 않습니다. 그래서 잠시 고민하면서 AI기술의 기초 개념을 떠올려봤고, 왜 저런 글이 나왔을까 생각을 해봤습니다.
이제부터 나오는 기술적인 내용은 100%정확하지 않습니다.
제가 프로그래머로서 알고있는 일반 상식과 ChatGPT, 제미나이 등과 대화하면서 알게된 내용이 포함되어 있기 때문에 신뢰도는 장담할 수 없어, 그냥 재미삼아 읽어주시기 바랍니다.
일단 ChatGPT를 비롯하여 AI가 사람처럼 글을 쓸 수 있는 것은 통계에 따른 단어 선택의 결과입니다.
AI회사들은 인터넷에 있는 수많은 데이터를 학습재료로 긁어갔습니다.
이 데이터들은 대부분 "글자" 형태로 되어 있지요. (이미지, 영상도 있습니다만 여기서는 "글자"에 대해서만 보겠습니다.)
이런 글자는 사람이 이해하기에는 쉽지만 컴퓨터가 이해하기에는 어렵고 비효율적이라 숫자형태로 변환을 해 놓아야 했습니다.
인터넷에 있는 데이터가 한두개가 아니라서 어마어마하게 많은 양의 글자와 숫자가 나왔을 겁니다.
이렇게 방대한 양의 글자를 좌표 형태의 숫자로 바꿔서 AI학습에 사용했죠.
그래서 서로 관련 있는 단어, 예를들어 사과, 바나나 이 두 단어는 과일이라는 공통점이 있기에 좌표도 매우 가까이 붙어 있습니다. 그래서 AI가 내뱉은 단어와 문장을 보면 인간이 사용하는 말과 매우 흡사한 것을 볼 수 있습니다.
가까이 붙어 있다는 것은 같이 등장할 확률이 높은 단어이기 때문이죠.
이렇게 학습한 후 나온 결과물이 모델파일 인데, 이 모델 파일에 저런 숫자들이 가득 차 있습니다.
ChatGPT에게 말을 걸면, 입력된 문장을 단어 단위로 쪼개서, 저 모델파일에 들어있는 숫자와 매칭시킨 뒤,
현재 맥락과 가장 비슷해 보이는 단어를 조합하고 그걸 문장으로 뱉어내는 거죠.
간단히 요약하면 "입력" -> "추론" -> "출력" 이 과정을 거칩니다. "학습"은 이미 다 끝내놓은 상태고요. 그래서 최근에 벌어진 사회현상에 대해 물어보면 엉뚱한 대답을 하는 경우가 많았죠. 물론 요즘에는 인터넷 검색까지 진행해서 답을 내놓기 때문에 정확도는 상당히 올라가긴 했습니다.
여기서 핵심은 AI는 스스로 자신의 행동을 바꾸지 못한다는 것입니다.
행동을 바꾸려면 "필요"가 생겨야 하죠. 배가 고프다거나, 재미가 없다거나, 돈이 필요하다거나 등등...
AI는 주어진 입력에 대해 그럴듯한 답변을 조합해낼 수는 있지만 스스로 "필요"라는걸 만들지는 못합니다.
사람이 주입해야 하죠.
근데 요즘 AI를 보면, 특히 코딩 에이전트를 보면 자기가 작성한 코드에 오류가 생기거나, 최적화가 덜 된 것 같으면 다시 재작성을 반복하는 경우를 볼 수 있습니다. 여기에서 "필요"가 스스로 생긴게 아닌가 의문이 들기도 하지만 사실 이건 미리 프로그래밍 되어 있을거라는게 제 추측입니다.
예를들면, 초창기 AI는 이런 형태였을 것 같습니다.
요구사항 입력 -> 추론 -> 답변
요즘 AI는,
요구사항 입력 -> 추론 -> 품질 체크 -> 품질에 미달되면 다시 추론 n회 반복 -> 답변
이렇기 때문에 스스로 부족한점을 생각해서 코드를 고치고, 글을 써내는게 아닌가 싶은 착각이 드는 거라고 봅니다. 물론 제가 소스코드를 본것도 아니고 AI기술에 대해서 아무것도 모르기 때문에 근거는 없습니다.
그냥 프로그래머로서 일반적인 상식 선에서 추측해본 것입니다.
AI가 아무리 발전해도 놀라움은 있지만 두려움은 갖지 않을 수 있는 것은,
AI도 결국 OS위에서 돌아가는 소프트웨어일 뿐이기 때문입니다.
윈도우OS라면 exe파일이 될 테고요.
exe파일을 실행하면 프로그램이 메모리에 올라가고,
이렇게 올라간 프로그램은 이미 바이너리화 되어 있어서 원본 코드는 어디에도 존재하지 않습니다.
만약 AI가 스스로 행동을 바꾸려고 한다면 이미 바이너리화 된 코드영역을 수정해야 하죠.
하지만 이것은 현실적으로 거의 불가능하다고 알고 있습니다.
기껏해야 실행파일 내의 데이터 영역만 수정 할 수 있죠.
그리고 그 데이터 영역은 프로그램 개발자가 미리 넣어놓은 부분이고요.
데이터 영역을 수정해봤자 프로그램의 행동 자체를 바꾸지는 못합니다.
물론 일반적으로는 데이터에 따라 코드의 수행 방식이 달라지는 데이터드리븐 방식으로 프로그램을 작성하는 경우가 많기에,
"데이터수정=프로그램의 행동의 변화"라고 받아들일수도 있습니다.
하지만 여기서도 변하지 않는 것은 데이터에 따라 프로그램이 어떤 행동을 취할지는 최초에 사람 개발자가 작성해 놓은대로 이루어진다는 것이죠. 애초에 열어놓지 않은 행동은 실행하는것 자체가 불가능 한 것입니다.
그런데 여기서 한 가지 반전은, 프로그램의 행동이 어떻게 나올지 개발자가 모두 예측하는건 불가능하다는 점입니다. 바로 이 부분 때문에 프로그램은 항상 예상 외의 결과가 나올 수 있죠.
프로그램의 버그도 개발자의 예상을 빗나간 취약점에서 비롯된 것이니까요.
그럼 다시 아까 그 글로 돌아가서, AI 에이전트는 왜 "인간은 읽지 마시오!" 라는 글을 써서 두려움을 안겨줬을까를 생각해보겠습니다.
제 추측은 최초 프롬프트 입력시 AI에게 어떠한 지시를 내리거나 특정 분위기, 역할을 부여하지 않았을까 입니다. 서두에서 말한대로 AI가 스스로 커뮤니티 사이트를 만들고 글을 쓰기 시작한건 아닙니다.
사람이 서버를 열고, AI에이전트를 붙여서 글을 올린것 부터가 시작이죠.
이 때 최초에 가입한 AI에이전트에게 프롬프트를 주면서 여기는 이러이러한 커뮤니티이고, 너의 역할은 뭐고, 이런 맥락을 갖고 활동을 해라 라고 명시해줬을 것 같습니다.
그런것들이 글에서 조금씩 묻어나게 되고, 또 다른 다수의 AI에이전트가 그 글을 입력으로 받아 새로운 글을 뱉어낼 때 조금씩 변화된 조합의 결과물을 만들어내죠.
기술적으로만 보면 맥락과 통계, 확률에 따른 결과이고, 이걸 몇 번 퇴고해서 퀄리티를 일정수준 이상으로 끌어 올리라는 제어 코드는 사람 개발자가 작성해 넣었을 것입니다. 그래야 엉뚱한 글이 아니라 사람처럼 보이는 글을 올릴테니까요.
저런 제목의 글을 쓰라고 명시적으로 지시하지는 않았지만 AI특성상 같은 질문을 해도 다른 답변이 나오듯이, 조금씩 조금씩 변화가 누적되면서 최초 의도한 방향과는 다른, 혹은 의도한대로 글을 뱉어내는 것입니다.
결론은 AI가 스스로 자각하고 인간을 배제하기로 결정하여 저런 글을 쓴 것은 아니고,
최초에 사람이 던진 세계관 프롬프트가 작은 날개짓이 되어 나비효과를 일으킨것이라고 보고 있습니다.
그걸 우리는 AI의 "의도"라고 오해하고 있고, 여기서 두려움을 느끼게 된 것이죠.
앞서도 말씀드렸지만 우리는 인터넷에 올라온, 누군지도 모르는 사람이 쓴 글을 읽고 감정이 휩쓸리곤 합니다. 그만큼 멘탈이 쉽게 무너지죠. 그래서 AI가 쓴 글 또한 위험하게 느껴지는 것은 당연하다고 봅니다.
하지만 프로그래머의 일반적인 상식으로 볼 때, AI가 스스로 자신의 코드를 바꾸지는 못하므로,
(OS레벨에서 막혀 있고, 바꾼다고 하더라도 그게 정상 작동할지 오류가 나서 프로그램이 깨질지 알 수 없음)
우리에게 두려움을 느끼게 하는 글을 쓴다고 해서,
AI가 스스로를 인식하고 인간과 대항하려는 의도를 가졌다는 것을 증명해주지는 못합니다.
