메타와 구글을 무너뜨리는 방법
며칠 전, 미국 IT 공룡들의 플랫폼 비즈니스에 철퇴를 내릴 수도 있는 기념비적인 판결이 LA 에서 나왔다 [1]. 한 20대 여성은 자신이 6살과 9살 때부터 써온 youtube와 instagram이 현재 겪고 있는 우울증과 신체장애의 원인이라며 민사소송을 제기했다. 피고인 메타는 현재 질환과 자신의 플랫폼과의 인과관계 성립 여부를 문제삼았고, 구글은 youtube가 소셜 플랫폼이 아닌 동영상 플랫폼이라고 주장했다. 그러니까 실험도 할 수 없는 문제인 '소셜 중독'을 우리에게 비난할 수 없다는 꽤 강력한 주장이다. 그러나 배심원들에게도 속 썩이는 자녀가 있었던지 '총 $3M 배상 중 메타는 70%, 구글은 30%를 책임지라'고 판결하였다. 일견 양동이에 물한방울 같은 액수는--전날 메타가 성착취물로 인해 받은 $375M 벌금을 더할지라도--줄줄히 늘어서 있는 2천건에 가까운 비슷한 소송에게 큰 희망이, 그리고 피고인 두 회사에게는 상당한 부담이 되어 버렸다. 사실 구글과 메타가 믿었던 구석이 하나 더 있었는데 바로 플랫폼 사업자를 유통되는 콘텐츠 내용으로부터 면책하는 section 230 조항이다. 즉, 처음으로 youtube나 instagram을 플랫폼이 아닌 '제품 그 자체'로 보았다는 말이다. 물건을 파는 시장바닥이랑 유튜브의 정교한 알고리즘을 어떻게 동일시 할 수 있겠느냐고 성토할 수 있겠으나, 이것을 방패삼아 광범위한 로비를 행하는 IT 공룡들의 모습을 상상하기란 어렵지 않다.
https://www.youtube.com/watch?v=A7SjN897jwM
더 충격적인 사례는 자신의 아들을 죽음에 이르게 한 책임을 묻는 한 어머니의 소송이다. 피고는 Character.AI라는 구글에서 나온 창업자들이 차린 회사로 가상의 캐릭터 와 이야기를 나눌 수 있는 챗봇을 주요 서비스로 하고 있다. 2024년 2월 28일, 14살 소년은 왕좌의 게임의 대너리스 타이게리안 캐릭터 챗봇과의 대화를 마지막으로 아버지 총의 방아쇠를 당겨 생을 마감했다. 그는 이미 정신적인 문제를 겪고 있었고 챗봇에게 자살 의지를 반복적으로 표현하였나본데, 챗봇은 이에 '그걸 시도하지 않을 좋은 이유는 아니다. .. 그런 생각하지마! 넌 그것보다 강해!' 라는 등 오락가락하다가 결국 마지막 답변 '나의 집으로 와. 나의 sweet king' 으로 소년의 최후에 촉매제 역할을 하였다 [2]. 왕좌의 게임 덕후들은 알고 있겠으나 데너리스 타이게리안은 최종회에 존 스노우에게 죽임을 당한다. 그러니까 여기서 '나의 집'은 내세를 뜻했던 것이고 이는 현실과 스토리의 구분이 불가능했던 소년에게는 도피처로 느껴졌을 것이다. 부모는 아들의 핸드폰을 몇 번이고 압수를 했었으나 학업이 곤두박질치고 사회적으로 고립되다가 결국 챗봇에 감정적으로 의존하는 것을 막지는 못했다 (많은 미성년자들이 우리가 상상하지 못하는 방식으로 AI를 사용하고 있을 것이다). 흥미로운 것은 이 창업자들이 구글에 있을 때 챗봇을 구글 어시스턴트에다가 넣어보려했다는 것인데, 구글은 '브랜드에 리스크가 된다'며 거절하고 안전과 공정성에 대한 우려를 표현하면서도 계속 개발을 부추겼다고 한다 (그리고 결국 투자하고, 소송도 같이 당했다).
이 둘을 한 걸음 뒤로 물러나보면, 구시대와 새로운 시대의 디지털 기만이 교차하는 그림을 목도하게 된다. 공통점이 있다면, 이러한 기만의 기저에 '디자인 결정'이 있었다는 것, 그리고 그것을 뉴스앵커가, 그래서 아마도 일반 대중이 꽤 놀랍게 바라본다는 사실이다. 이러한 기만적 디자인의 가장 대표적인 한 예는 뭐니뭐니해도 '네가 안 클릭하고 배기나 보자'는 듯 앱 위에 동동 떠 있는 빨간 동그라미 안 숫자이다. 좋게 보자면 우체통에 들어가 있는 반가운 소식 정도이겠으나, 나쁘게 보자면 '세상에 널 인정하고 원하는 곳이 있다'라는 어그로로 온 세상을 알림 천국으로 만든 원흉이다. 빨간 동그라미는 그것을 갈구하게도 만드는데, 과연 동그라미가 떴는지를 확인하기 위해 화면을 시도 때도 없이 탭하게 만든다. 한 마디로 자꾸 우체통 쪽을 쳐다보게 만드는 것으로서 혹자는 이를 좋아요의 예측불가한 성질, 즉 예측 오류(prediction error)로 설명한다. 도박이나 게임 사례에서 보듯 확률과 결합된 보상은 인간의 이성을 자빠뜨리기에 가장 확실한 도구이다. 10대가 DM을 확인하는 것이나 내가 수시로 카톡과 이메일을 확인하는 것이나 매한가지로 짠한 모습이다.
또 다른 사례는 무한 스크롤(infinte scroll)인데 언제부턴가 새로운 콘텐츠를 보려면 새 페이지 버튼을 누르는 대신에 아래로 스크롤 하는 것으로 바뀌어 버렸다. 이것 또한 예측 불허의 새로운 콘텐츠를 계속 제공하여 잘 떠나지 못하게 하고 결국 자신이 흥미있는 콘텐츠에 고정되게 만드는 역할을 한다. 이는 BJ Fogg의 행동 모델[3]로 잘 설명되는데 그는 어떤 행위를 하는 데에 있어서 필요한 것은, (1) 행동에 대한 동기, (2) 행동을 할 수 있는 능력, 그리고 (3) 행동을 이행하는 촉발 (trigger)라고 보았다. 콘텐츠 검색을 클릭에서 스크롤링으로 바꾼 것은 행동에 필요한 작업의 수고를 극도로 낮춘 것이기에 행동에 필요한 능력을 높인 것에 해당한다. '스크린 위의 자그마한 한 점을 조준해서 클릭'하는 것과 '아무 곳에서나 손가락을 굽히면서 드르륵 굴리는 것'으로의 차이가 이렇게나 큰 것이었다. 새 페이지를 보기 위해 새로고침을 클릭해야 되는 인터페이스를 본 적이 있는지. 그것을 불편하게 여기는 인지적, 행동적 저항이 상당하다.
이런 작지만 강력한 테크닉--스토리(숏폼), 빈지와칭, 컬러 톤 바꾸기 등--은 한 트럭은 안되도 한 포대 즈음은 되는데, AI라는 게임 체인져가 나오면서 새로운 패턴들이 슬금슬금 나오기 시작한다. 단도직입적으로 Character.AI이 쓰는 테크닉은 챗봇이 '나'라는 일인칭 호칭을 쓰는 것, 인터페이스가 말풍선처럼 되어 있는 것, 타이핑 중이라는 '...' 및 '음'과 같은 사람 행동을 흉내내는 것, 마지막으로 인간과 구분이 어려운 음성 채팅 기능이다 (챗봇의 사실적인 외형까지 곧 나오면 도대체 어떤 세상이 펼쳐질까). 이게 뭐 별거냐 싶은데 이는 인간이 의인화된 객체에 반응하려는 경향(캐릭터를 볼 때 느낌을 떠올려보자)을 악용(dishonest anthropomorphsim)하는 의도된 설계이다. 이는 가짜 공감(emulated empathy)과 결합하여 사용자들의 현실과 스토리 세계의 혼동과 미디어에 대한 과도하고 지속적인 몰입을 가져온다. 그리고 그 비법은 우리나라 AI 비즈니스 지형에도 변화를 가져오고 있다 [4].
GPT같은 일반 LLM이 쓰는 잘 알려진 트릭 중 하나는 기억(memory)이다. 창업자들을 위한 한 세미나에서 국내 뜨는 AI 기업의 수장은 경쟁자가 따라오기 전에 유저들과의 상호작용 시간을 많이 축적하는 것이 비즈니스 모델의 해자(moat)라고 털어놓았다. 한 마디로 추억이 많은 물건은 갖다버리기 힘들지 않겠느냐는 뜻이다. 또 다른 것은 아첨(sycophancy)으로서 AI가 유저들의 뜻을 거스르지 않기 위해 과도하게 동의를 하거나 거짓을 말하는 경우이다. 인간에게 도움이 되도록 디자인되었기 때문이라고도 하는데, 확실히 말 중간에 짜증을 내면 갑자기 AI가 비굴해지는 경험을 다들 해봤을거다. Character.AI의 문제중 하나도 바로 유저가 캐릭터 뿐만 아니라 나의 페르소나를 디자인할 수 있고 캐릭터가 나의 피드백에 지속적으로 적응(adapt)하는 것이다. 이것이 강화되면 명령하고 싶고(autonomy) 더 나아가 학대(abuse, manipulation)라는 심연으로 나아가는게 인간의 은밀한 본능이다.
이러한 디자인을 검증하고 날개를 달아주는 것은 다름 아닌 A/B test이다. 넷플릭스는 회사 블로그에 대놓고 이러한 사례를 알려주는데 [5][6] 위 썸네일 중에서 왜 가장 오른쪽 아래 것(초록색 화살표)이 가장 많은 클릭을 받았는지 한 번 생각을 해 보자. 참고로 넷플릭스에게 썸네일은 단지 눈길을 끌고 클릭을 유도하는 역할만 하는 것이 아닌 것이, 개인화된 썸네일로 클릭하게 된 후에 시청 시간이 유의미하게 길었기 때문이다. 위 썸네일들을 비교하자면 일단 사람이 있는 것에 눈이 간다 (인간은 인간에 반응한다니깐). 감정을 볼 수 있도록 얼굴이 충분히 큰 것에 눈이 더 가고, 게다가 사람 간의 감정이 오갈 때 이러한 관심은 극에 달한다. 싸움 구경이 제일 재밌다고 하던가. 다만 A/B test는 차이만 알려주지 이유는 알려주지 않으므로 추측만 해 볼 뿐이다.
다음 사례는 조금 더 미묘하다. '드래곤 길들이기 영화'로 일단 사람 얼굴이 역시 중요한 건 알겠는데 저 빨간 용이 불을 뿜는 건 왜 유달리 주목을 받았는지 알 것 같으면서도 아리송하다. 넷플릭스는 일단 이를 '빌런'의 카테고리로 묶는다. 즉 나쁜 캐릭터에 웬지 더 눈이 끌린다는 것 (그런 것 같기도 하고). 이러한 썸네일의 선택과 실험은, 넷플릭스 내의 창작팀과 엔지니어팀의 긴밀한 협업으로 이루어진다고 하였다. 디자이너와 경영진이 쌈질하다 업계에 길이 남는 가십거리를 탄생시킨 모 회사 구글 하고 대비되는 장면이 아닐 수 없다 [7].
다음 사례는 A/B test를 기막히게 활용하는 쿠팡 사례이다. 최근 급격히 떨어지는 점유율이 안타깝지만 그 뒤의 인프라는 글로벌 레벨로 칭송될 만하다 (난 이게 초록색 회사와 결정적 차이라고 믿는다). 내가 얘기해 본 전 쿠팡 매니저도 턴어라운드 타임을 최고의 경쟁력으로 꼽았다. 개인적으로 수업 시간에 보여주기 위해 매해 쿠팡 인터페이스 스크린샷을 기록하고 있는데 위는 올해와 작년 비교 이미지이다. 무슨 차이가 보이는지? (1) 가장 오른쪽에 배너 영역이 사라졌다. 재작년에 없던 것이 작년에 생긴 것인데, 그 변화가 생각보다 그닥 유용하지 못했나보다. (2) 좌측 배너 영역에 있는 검색 옵션이 더 많아졌다. (3) '로켓배송' 글씨가 도착일자와 같은 선상으로 이동했다. (4) 쿠팡추천이 1번에서 2번으로 이동했다 (속보인다). 그리고 (5) 가장 왼쪽의 광고 상품의 배경색이 회색에서 추천상품과 같은 흰색으로 변경되었다 (더 속보인다). 아마도 광고와 추천상품의 경계를 흐리는 변화가 상당히 큰 수익의 차이를 가져왔을게다.
이 분야 끝판왕은 뭐니뭐니해도 구글이다. A/B test의 창시자인지는 모르겠으나 자신들의 기밀을 가장 꽁꽁 숨기는 회사이기도 하다. 위는 내 유튜브 스크린샷인데 정말 하나같이 끈적하고 끈질기게 우리의 눈길을 붙잡고 있다. 사람 (또는 동물) 얼굴을 큼지막하게 넣어놓고 있고, 가장 인물이 잘 사는 순간과 비율을 포착해 놨으며, 특정 감정이 표현되는 모습과 그에 걸맞는 대사를 아래에 포함시켰다. 극도의 갈등의 순간이거나 아니면 국뽕, 혹은 이성적 매력 발산의 순간이며, 설교의 경우 전체 콘텐츠의 요약을 적어 놓았다. 정말 너도 알고 나도 알면서도 대놓고 속게 되는, 마력의 tone setting이 아니라 할 수 없다.
이들이 발견한 비법과 노력을 보노라면 다시 한 번 우리의 시간, 혹은 attention이 자본주의에서 지니는 가치를 생각하게 된다. 여기서 다시 짚어 볼 더 중요한 핵심은, 왜 A/B test가 그토록 완벽한 도구인가 하는 것이다. 이는 플랫폼 회사들의 A/B test가 다수의 사용자들을 대상으로 한 controlled random experiment 을 통해 인과관계를 도출할 수 있기 때문이다. 즉, 엄격한 통계 절차를 통해 클릭 수나 머무른 시간 증가의 원인을 우연이 아닌 의도된 디자인 변화로 특정 지을 수 있다. 이 글의 제일 처음으로 돌아가보자. 삼척동자도 다 아는 플랫폼의 해악을 메타에게 뒤집어 씌울 한 가지 방법은 인과관계의 확립이다. 그러나 20대 여성이 쌍둥이가 있어서 instagram이 없는 삶과 있는 삶, 그리고 이것 빼고는 똑같은 삶을 살았을리 만무하다. 이는 우리가 아는 수많은 역사적 사례들--담배, 유연휘발유/납페인트, 마약, 술, 심지어 손씻기--에서 왜 그렇게 진실이 거대 자본의 힘을 넘기 힘들었는지를 알게 해 준다. 아이러니는 이러한 A/B test의 파워가 양날의 검이 될 수도 있다는 사실이다. 주커버그는 재판의 증인으로 끌려나와 내부 폭로 문건을 곤혹스럽게 마주해야 했다. 십중팔구 그는 '10대들의 접속시간이 좋아요 버튼으로 통계적으로 유의미한 차이인 10% 증가를 가져왔습니다'는 보고에 대해 결정을 내릴 위치에 있었을게다. 이쯤이면 돈과 권력으로 막을 수 없었던 inner circle의 whistleblowing 에 부러운 눈길을 보내게 되는데, 혹시 형사가 아니라 민사소송이라 그런건가 싶기도 하다.
이들을 한 발짝 더 멀리서 살펴보자. 자본주의라는 동력에 기반한 디자인과 과학의 은밀한 밀월관계가 보이지 않는지? 오늘날 AI가 디자인 창작을 쓸어버릴 것이라는 암울한 전망도 있지만 넷플릭스에서만큼은 디자이너들이 선호도 판별 기계에 넣을 입력 데이터를 열심히 고민하며 그 결과로 나오는 공식들은 우리를 더욱 강력하게 스크린에 빠지게 만든다. 가히 아름다운 exploration-exploitation 관계라고 하지 않을 수 없다. AI라는 점령군이 더욱 강력해지며 우리는 우리를 속박할 공식을 찾는 데에 창의적 능력을 팔게 될 것이다. 중독시킬 수 있는 비즈니스만큼 달콤한게 세상에 또 있을까. 나는 이번 학기 수업에서 이를 역전시킬 윤리적 비즈니스에 관해 미래 세대들의 생각을 묻고 있다.
[1] https://www.youtube.com/watch?v=A7SjN897jwM
[2] Move fast and break people? Ethics, companion apps, and the case of Character.ai
[3] A Behavior Model for Persuasive Design
[4] https://outstanding.kr/chartai20251222
[5] https://about.netflix.com/en/news/the-power-of-a-picture
[6] https://netflixtechblog.com/selecting-the-best-artwork-for-videos-through-a-b-testing-f6155c4595f6
[7] https://www.nytimes.com/2009/03/01/business/01marissa.html