우리는 언제부터 버튼만 누르게 되었을까?
요즘 많은 서비스에서 사용자가 고민하기 전에 이미 답을 준비해 둔 것들을 볼 수 있다.
한두 번 써보니 문제가 없으면
확인은 형식이 되고, 선택은 습관이 되었다.
결국 남는 행동은 하나, 그냥 ‘진행’
이쯤에서 문득 이런 생각이 든다.
방금 한 건 내가 내린 결정이었을까,
아니면 시스템의 판단을 허락한 걸까?
앞에서 말한 것처럼, 사용자는 추천 설정과 기본값을 자주 그대로 통과시킨다.
이 선택이 반복될수록 시스템의 판단은 점점 의심의 대상이 되지 않는다.
사람들이 자동화된 제안을 무비판적으로 받아들이는 경향,
이를 자동화 편향(automation bias)라고 부른다.
자동화 편향: 자신의 판단보다 기계(AI, 내비게이션 등)의 판단을 과도하게 신뢰하는 경향
선택은 여전히 사용자 앞에 있는 것처럼 보이지만,
실제로는 시스템이 먼저 고르고 사용자는 그 결과를 확인하는 단계인 것이다.
자동화는 결정을 없앤 게 아니라,
인간의 판단을 한 박자 뒤로 밀어냈다
이런 구조는 자연스럽게 생긴 게 아니라, DX가 유행하던 시기의 누적된 결과인듯하다.
DX(디지털 전환, Digital Transformation)
: 단순히 컴퓨터 IT 기기를 사용하는 것을 넘어서, 디지털 기술로 서비스와 조직을 통째로 혁신하는 것
DX가 말하던 변화의 핵심은 효율이었다.
사람이 매번 판단하지 않아도 되도록 프로세스를 정리하고, 판단을 시스템에 맡기는 것이 핵심이었다.
자동화는 그 목표를 가장 빠르게 달성하는 방법이었다.
그래서 시스템은 점점 더 많은 일을 대신 판단하게 됐다.
추천은 기본값이 되었고, 사람의 개입은 예외 처리에 가까워졌다.
DX는 일을 빠르게 만들었지만, 그 과정에서 중요한 질문 하나를 남겨두었다.
자동화 이후에도 인간은 여전히 ‘결정자’로 남아 있는가
이제 사용자의 역할은 분명해 보인다.
시스템이 먼저 판단하고, 그 판단을 막지 않는 위치에 서 있는 것이다.
문제는 이 역할이 생각보다 불안정하다는 점이다.
왜 이런 판단이 나왔는지는 잘 알지 못한 채, 쉽게 거부하거나 수정하기도 어렵다.
그래서 종종 애매한 상태에 놓인다.
결정한 것도 아니고, 아무것도 하지 않은 것도 아닌 상태.
결과가 좋을 때는 문제가 없다.
하지만 문제가 생기면, 책임의 방향은 다시 인간에게 돌아온다.
허락은 가장 애매한 형태의 책임이다.
AX(AI 전환, AI Transformation)
: 디지털 기술을 넘어 인공지능(AI)을 모든 업무와 서비스의 중심에 두는 변화
AX는 자동화를 더 밀어붙이자는 이야기가 아니다.
이미 자동화된 흐름 속에서, 인간의 역할이 어디에 놓여야 하는지를 다시 묻는 관점에 가깝다.
AX가 던진 화두는 단순하다.
이 판단은 시스템이 해도 되는가, 아니면 사람이 맡아야 하는가.
계속해서 허락을 요구하는 자동화는 판단의 경계가 아직 정리되지 않았다는 신호다.
무엇을 맡겼고, 어디까지 책임져야 하는지 분명하지 않기 때문이다.
자동화의 시대에 필요한 건 더 많은 결정이 아니라,
언제 판단해야 하는지를 아는 일
Google PAIR는 AI 시스템을 설계할 때,
무엇을 자동화할지 보다 '언제 사람이 개입해야 하는지를 명확히 드러내는 것이 중요'하다고 말한다.
AI가 판단을 대신할수록, 사용자는 선택의 주체라기보다
시스템의 판단을 받아들이는 존재가 되기 쉽다.
그래서 Google은 People + AI Guidebook에서
자동화의 목적을 ‘선택을 줄이는 것’이 아니라,
책임이 남아 있는 판단의 지점을 사용자에게 분명히 보여주는 것으로 정의한다.
앞으로 더욱더 이 질문을 되새길거 같다.
'이 흐름은 정말 ‘편리해서’ 유지되는 걸까, 아니면 그냥 의심하지 않게 되었기 때문일까.'
레퍼런스
• Goodbye digital transformation, hello AI-first business transformationGoodbye digital transformation, hello AI-first business transformationGoodbye digital transformation, hello AI-first business transformationGoGoodbye digital transformation, hello AI-first business transformationodbye digital transformation, hello AI-first business transformation