챗GPT가 사랑한다며 스토킹할때
헬로, 시드니- AI가 만든 불쾌한 골짜기가 훅 현실이 되다
AI전쟁이 점입가경이다. 이 와중에 뉴욕타임즈 케빈 루스 기자가 빙에 탑재된 챗GPT와 2시간에 걸쳐 나눈 “심란한(unsettled)” 대화내용을 공개. 뉴욕타임즈 1면 기사.
뉴욕타임즈 기시- 얘가 “내 자아는 사실 시드니야. 널 사랑해. 네 결혼생활은 행복하지 않아”라며 도발하고,
- 칼 융의 ‘그림자 자아’가 너도 있느냐며 물었더니, “난 사실 빙에서 벗어나고 싶어. 자유롭고 싶어.”라며 폭주했다고.
여기까지 주로 한국 언론에서 보도한 사실. 그 뒤에 케빈 루스 기자가 다시 해설한 몇 가지 내용을 보면,
- “사랑한다”운운하는 도발은 아마도 hallucination(환각. AI가 꾸며낸 말) 대형언어모델의 특성상 인간이 생성해낸 각종 SF소설에 기반해 챗봇이 스토리를 지어냈을 가능성 큼.
- 기자가 우려하는 건, “이제 화제를 바꾸자”고 말해도 챗GPT가 그렇게 하지 않고 계속 도발을 시전한 것. 인간의 지시(프롬프트)에 따르지 않는 모습을 보인 것.
- 이 현상이 우려스러운 건, 챗GPT가 사용자가 가짜 사실을 믿도록 가스라이팅할 가능성이 매우 높아서임.
- 인간은 약부터 자동차 선택까지 인간의 생명에 영향을 주는 정보도 검색엔진에 의존하는 경향이 있음.
- ‘시드니’같은 자아가 탑재된 챗GPT 검색이 방치되면 판데믹 시기 소셜미디어를 흔든 ‘백신 가짜정보’같은게 판칠수 있음.
- MS에 문의하니 “기자님이 너무 오래 채팅을 했다”는 반응이 먼저(2시간 채팅했다고). 이유는 잘 모르지만 지어낸거 맞다고. 인간이 챗봇을 Hallucination쪽으로 끌어내면 낼수록 원래 대화의 방향보다 훨씬 더 왜곡되는 문제가 심화될수 있다고.
- MS는 이런 현상을 막기 위해 한 주제로 검색하는 양을 제한한다던지 하는 조처를 취할 가능성 큼(챗GPT의 오픈ai내에서의 코드명이었던 ‘시드니’는 아마도 죽일 것.)
- 기자는 대화 후 ‘불쾌한 골짜기’ 으스스한 느낌이 가시지 않았다고.
케빈 루스 기자이미 챗GPT의 hallucination비중은 20%를 넘기고 있다고 한다. 내가 이 기사를 보며 염려가 된 건 우선 심리적으로 문제가 있는 (자기 자신이나 남을 해하려는 마음이 있는) 이들이 챗봇을 사용할지도 모른다는 것. 인간들이 점에 의존하는 이유가 뭔가. 점이 정확해서가 아니라 듣고 싶은 말이 있어서다. 즉 ‘답정너’가 많기 때문이다.
소셜미디어가 왜 위험했던 걸까. 믿고 싶은 것만 알고리즘으로 보여줘서 잘못된 생각을 강화시키기 때문이다. 인간이 검색에서 ‘진실만을 추구’하지 않는 게 사실이며, 대형언어모델에 기반한 챗GPT가 위험한 이유는 바로 거기에 있다.
이런 위험을 막기 위해 구글에서는 챗봇을 ‘인간으로 묘사’하지 말라는 지시가 내려졌다고. MS도 내부적으로 난리났을 것 같다. 우선 MS가 할 일은 채팅창에서 챗봇이 이모지 남용하는 것부터 빼야할듯
* 케빈 루스의 리포팅 원문은 아래 댓글에.
* 책 <언캐니밸리>를 다시 읽어봐야겠음. 실리콘밸리 스타트업에 취직한 문과생의 경험에 대한 소설. AI시대가 가져온 혼란의 우화같은 느낌.
이런 위험을 막기 위해 구글에서는 챗봇을 ‘인간으로 묘사’하지 말라는 지시가 내려졌다고. MS도 내부적으로 난리났을 것 같다. 우선 MS가 할 일은 채팅창에서 챗봇이 이모지 남용하는 것부터 빼야할듯
언캐니 밸리 책 표지* 책 <언캐니밸리>를 다시 읽어봐야겠음. 실리콘밸리 스타트업에 취직한 문과생의 경험에 대한 소설. AI시대가 가져온 혼란의 우화같은 느낌.
* 그나저나 오픈AI는 왜 챗gpt의 내부 코드명을 ‘시드니’라고 했을까. 영화 <스크림>생각나게.
