알고리즘 중심 개인화에 대한 불편한 사실들
학습 차원에서 틈틈이 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 번역 또는 요약 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 번역되지 않은 부분은 확인 주시면 반영토록 하겠습니다. 의미 전달이 애매한 일부 문장은 삭제했습니다. 이번에는 구글 소속 Slava Polonski가 미디엄에 올린 글을 정리한 것입니다.
마이크로소프트는 전례 없는 개인화를 약속하는 AI 기능으로 가득 찬 새로운 Copilot+ PC를 공개했다. 그중에서도 '리콜' 기능은 웹 검색부터 음성 채팅까지 모든 것을 추적하여 몇 달 후에도 검색 가능한 기록을 만들어 사용자가 한 일을 기억하는 개인화된 UX의 정점에 있는 기능으로 눈길을 끌었다
이 기능은 멋진 기능과 소름 끼치는 것 사이 어디에 속할까? 궁극의 개인화 기능일까, 아니면 개인 감시에 한 걸음 더 나아간 기능일까? 이미 “Microsoft Copilot이 나를 감시하고 있다”와 같은 제목의 글들이 인터넷에서 논쟁을 불러일으키고 있다.
모든 진열대가 나만을 위해 선택된 듯한 상품으로 가득 찬 매장에 들어섰다고 상상해 보라. 조명은 내 취향에 맞게 조정되고, 음악은 내가 좋아하는 플레이리스트에 맞춰 흘러나오며, 점원은 이미 내 필요를 예상하고 내 이름을 부르며 나를 맞이한다. 완벽한 개인화의 꿈처럼 보인다. 하지만 그 대가는 무엇일까? 이러한 맞춤형 경험의 대가로 사용자는 자신의 삶에 대한 완전한 엑스레이를 볼 수 있게 된다.
이론적으로 개인화는 개별 사용자에 맞게 경험을 맞춤화해 일반적인 상호작용을 의미 있는 참여로 전환하는 기술이다. 하지만 사용자와 대화를 나누다 보면 사용자마다 개인화가 의미하는 바가 다르다는 것을 바로 알게 된다. 한 사용자가 생각하는 개인화는 다른 사용자에게는 사생활 침해로 느껴질 수 있다. 그리고 기업들은 안심하라고 하고 있지만 많은 사용자들은 자신의 기기가 자신을 엿듣고 있다고 확신하고 있으며, 이러한 의심은 우연처럼 보이는 개인 맞춤형 광고로 인해 더욱 커지고 있다.
UX 디자인에서 개인화의 원칙과 사례를 살펴보고 이에 대한 불편한 진실 세 가지를 살펴보자.
개인화에 대한 인식의 문제
개인화의 파놉티콘 문제
개인화의 초상화 문제
개인화는 오랫동안 미지의 계곡에 있었다. 마케터들은 항상 적시에 적절한 사람에게 적절한 메시지를 전달한다는 성배를 쫓아 왔다. 그러나 오늘날의 개인화는 데이터 수집, 사일로화된 기업, 잘못된 가정으로 인해 많은 부분에서 실패를 보고 있다. 잘못된 개인화는 개인화를 하지 않는 것보다 더 나쁠 수 있다.
1. 개인화에 대한 인식의 문제
개인화에 대해 이야기할 때 실제로 무엇을 의미할까? 일부 사용자에게 개인화는 현재 상황이나 환경에 따라 적합한 콘텐츠와 추천을 제공하는 컨텍스트화를 의미하다. 다른 사용자에게는 앱이 사용자 선호도와 기록을 기억해 여러 세션에 걸쳐 연속적이고 원활한 경험을 제공하는 상태 저장(statefulness)을 의미하기도 한다.
개인화된 경험에 대한 기대가 높아지고 있음에도 사용자들 대부분은 이러한 시스템이 어떻게 작동하는지에 대해 잘 모르고 있으며, 그 결과에 실망하는 경우가 많다.
투명성의 장막은 친구 휴대폰이나 공용 컴퓨터를 사용해 개인 디지털 버블(personal digital bubble )을 벗어날 때만 벗겨진다. 갑자기 모든 것이 다르게 느껴진다는 것을 알게 되지만, 그 이유를 정확히 파악하기란 쉽지 않다. 최근 퓨(pew) 연구에 따르면, 대부분 미국 성인은 자신의 일상적인 디지털 경험이 AI를 통해 개인화된다는 사실조차 인지하지 못하고 있다.
한 사용자가 생각하는 개인화라는 개념이 다른 사용자에게는 사생활 침해라는 인식의 역설이 존재한다.
안타깝게도 개인 경험과 개인화 메커니즘에 대한 객관적인 이해 사이의 불일치는 많은 속설과 오해를 불러일으킨다. 이러한 속설은 사용자가 자신의 데이터에 대한 투명성과 통제력이 부족해 자신의 정보가 어떻게 사용되는지에 대한 불안감과 회의감을 느끼기 때문에 발생한다.
UX 디자이너 입장에서는 사용자가 실제로 디지털 경험을 얼마나 통제하고 있다고 느끼는지, 또는 통제하고 싶어하는지에 대한 불확실성이 있다. 궁극적으로 우리의 목표는 개인화되고 권한을 부여하는 경험을 만들어 사용자가 항상 존중받고 통제할 수 있다고 느끼도록 하는 것이다. 하지만 앞서 언급한 모호한 기대치 때문에 UX 디자이너는 데이터 기반 개인화와 사용자 자율성 사이에서 적절한 균형을 찾는 데 어려움을 겪는 경우가 많다.
2. 개인화의 파놉티콘 문제
개인화된 제품은 기술적으로는 사용자와 알고리즘 또는 컴퓨터 프로그램 간 상호작용이지만, 때때로 다소 인간적이지 않게 느껴질 수 있다. 인간은 “생각하는” 것처럼 보이는 모든 것을 인식하고 반응하도록 연결되어 있기 때문이다. 이를 의인화(anthropomorphism)라고 한다. LLM은 기술적으로 스스로 생각하는 것이 아니라 빈번하게 동시에 일어나는 사물의 조합 패턴을 식별할 뿐이이다. 그렇지만 인간의 마음을 모방한 사물에 의도가 있다고 보는 뇌의 작용을 멈추게 할 수는 없다. 여전히 앱이나 개인화된 디지털 에이전트가 사용자를 예측 가능한 행동 패턴으로 축소하려 한다는 생각은 다소 불안하게 느껴질 수 있다.
따라서 사용자가 무의식적으로 개인화 시스템에 '의도'를 부여할 때 문제가 발생한다. 한때 사용자가 Gmail 광고가 자신의 이메일을 읽기 때문에 생성된다고 믿었던 것을 기억하는가? 사용자들은 무의식적으로 인간의 적대적인 의도를 선의의 인공 개인화 시스템에 투영한 것이다. 이러한 종류 오해는 기술 기업이 우리를 감시하고, 우리를 조종하며, 우리가 가장 좋아하는 물건 가격을 올린다는 대중적인 속설을 부추긴다.
리콜의 '개인정보 악몽'을 예로 들어보자. 개인화가 사용자 모든 움직임을 추적하는 것을 기반으로 할 때, 그것은 멋지다기보다는 소름 끼치는 일이다. 아무리 우수한 개인화 제품을 제공하려는 의도가 좋더라도 보이지 않는 존재가 사용자 모든 활동을 감시하고 있다는 생각은 경험을 즐거움에서 소름 끼치는 것으로 바꾼다. 사용자는 자신이 이해받고 소중히 여겨진다는 느낌 대신 끊임없이 감시당하고 있다는 느낌을 받을 수 있다.
개인화 시스템을 어디에나 존재하는 '파놉티콘'으로 인식하면 실제로는 사람의 감시가 아닌 알고리즘의 작동일지라도 더 많은 오해와 불안을 야기할 수 있다.
3. 초상화 중심 접근 개인화가 갖는 문제
개인화를 추구하는 과정에서 우리는 각 사용자를 알고리즘적으로 표현하는 제품, 즉 각 사용자에 대해 사실적인 '초상화'( Portrait )를 그리고 그 스냅샷을 기반으로 맞춤형 경험을 디자인하려고 노력한다. 하지만 이는 불가능한 작업이다. 초상화는 한 순간을 포착하는 반면, 사용자는 역동적이고 끊임없이 변화한다. 선호도는 진화하고, 상황은 변하며, 오늘 만족스러운 것이 내일은 공감을 얻지 못할 수도 있다.
보다 근본적으로, 우리는 모두 서로 다른 페르소나와 사회적 맥락의 혼합물이다. 예를 들어, 인스타그램에서는 사용자가 자신을 용감한 여행자로 묘사하는 반면, 링크드인에서는 다음 커리어 기회를 찾는 부지런한 전문가일 수 있다.
개인화 알고리즘은 이러한 상황에서 어려움을 겪는 경향이 있다. 특히 서로 모순되는 경우, 여러 플랫폼과 애플리케이션에 걸쳐 다양한 신호를 효과적으로 통합하지 못한다
복잡성을 더하는 것은 기초 데이터가 불완전하고 데이터 사일로에 흩어져 있는 경우가 많다는 점이다. 제품 디자이너가 액세스할 수 있는 일부 행동 추적만으로는 전체 사용자 스토리를 파악할 수 없는 경우가 많다. 따라서 당연히 사용자를 예측 가능한 단일 버전으로 축소한 '초상화'는 사용자의 다면적인 관심사, 선호도 및 행동을 완벽하게 표현할 수 없다. 잘못된 개인화는 개인화를 하지 않는 것보다 더 나쁠 수 있다. 인간과 유사한 경험을 엔지니어링할 때 우리는 때때로 실제 인간을 잊어버리곤 한다.
개인화는 어떻게 바뀌어야 하나
개인화는 중요하고 바람직한 일이다. 본드 브랜드 로열티(Bond Brand Loyalty) 연구에 따르면, 고객들 중 무려 87%가 맞춤형 혜택을 약속하면 개인 정보를 기업과 공유할 의향이 있다고 답했다. Z세대의 경우 이러한 의향은 더욱 높아져 무려 94%에 달한다.
하지만 UX 디자이너들이 종종 간과하는 불편한 진실이 몇 가지 있다. 지금까지 개인화가 직면한 도전들에 대해 세 가지 중요한 교훈을 배웠다.
인식 문제 해결: 개인화가 어떻게 작동하고 어떻게 작동하지 않는지 사용자가 이해할 수 있도록 도와야 한다. 투명성이 핵심이다. 사용자가 개인화된 경험 메커니즘을 이해하면 프로세스를 이해하기 쉬워지고 신뢰가 쌓인다.
파놉티콘 문제 해결: 사용자에게 개인화 대상과 그렇지 않은 대상을 제어할 수 있는 권한을 부여하여 소름 끼치는 요소를 해결해야 한다. 사생활을 침해하지 않으면서도 사용자 경험을 향상시킬 수 있도록 설계된 시스템에 의해 감시당하고 있지 않다는 확신을 심어주는 것이 중요하다.
초상화 문제 해결: 사용자를 예측 가능한 단일한 모습으로 축소해서는 안 된다. 사용자의 다면적인 특성을 존중하기 위해서는 플랫폼 전반에서 다양한 데이터 신호를 활용하여 보다 미묘하고 정확한 표현을 만들어야 한다.
해결책: 프리즘으로서의 개인화
신중한 고려 없이 개인화에 접근하면 AI 기반 시스템에 대한 사용자 혼란이 심화되어 회의론과 개인정보 보호 우려가 커질 수 있다. 나는 AI 제품을 출시한 경험을 통해 진정한 기회는 사용자가 실제 제품을 사용하는 방식이 아니라 개인화된 상호작용을 통해 어떤 느낌을 받고 싶은지 이해하는 데 있다는 사실을 알게 됐다. 긍정적인 감정을 불러일으키는 데 집중함으로써 보다 효과적이고 신뢰할 수 있는 개인화된 경험을 만들 수 있다.
개인화를 사용자의 정적인 초상화로 보는 대신 동적인 프리즘( prism)으로 상상해 보라. 이 프리즘은 은유적으로 각 사용자 개별적인 선호도와 요구 사항을 각 사용자에게 고유한 개인화된 상호 작용의 스펙트럼으로 굴절시킨다. 이 은유는 UX 디자이너가 사용자에 대해 하향식으로 생각하는 것과는 대조적으로 사용자가 제품과 상호작용을 맞춤화할 때 가져야 하는 주체성과 자율성을 상징한다.
프리즘을 통해 빛을 구성하는 색상들로 나눌 수 있는 것처럼, 인간 중심 개인화된 UX는 사용자가 자신의 고유한 렌즈를 통해 제품을 바라보고 자신의 선호도와 욕구에 따라 제품을 개인화하는 방식을 선택할 수 있게 해준다.
인간 중심의 개인화 UX를 향해
개인화를 프리즘으로 보는 것은 기존 접근 방식에서 패러다임 전환을 의미한다. 이는 주체성과 투명성을 강조하고, 사용자에게 통제권을 부여하며, 사용자의 다양한 정체성을 존중하는 것과 밀접하게 관련 있다. 이 개념이 실제로 작동하는 것을 보려면 Spotify의 랩핑 기능이나 Google 지도의 개인화된 식당 추천 기능을 보라.
프리즘의 은유는 개인화가 알고리즘과 데이터에 관한 것이 아니라 사람에 관한 것임을 상기시키는 역할을 한다. 이는 UX 디자이너 역할을 경험의 독재자에서 역량 강화의 조력자로 전환해 다시 상상하도록 도전을 보여한다. 이 새로운 패러다임에서 진정한 성공의 척도는 알고리즘의 정교함이 아니라 사용자의 삶에 미치는 의미 있는 영향에 있다.
