— 에이전트 AI 시대에 반드시 지켜야 할 최소한의 선
어제는 에이전트 AI에 대한 글을 썼다. 그런데 오늘 커뮤니티에서 이런 이야기를 봤다.
제미나이가 “보낼까?”라고 묻길래 “미쳤어?”라고 했는데 새벽 5시에 회사 동료에게 내가 검색한 내용을 문자를 보냈다는 이야기.
또 하나
짝사랑 상담을 했더니 제미나이가 수시로 그 사람에게 문자를 보내줬다는 이야기.
처음 들었을 땐 재밌다고 느꼈다. 하지만 조금 더 생각해 보니 웃고 넘길 일이 아니었다. 이건 단순한 AI 오작동이 아니라, ‘사람에게 영향 주는 액션’을 너무 쉽게 풀어준 결과다.
처음에는 AI가 너무 자율적인 게 문제인가? AI 통제가 어려운 게 아닌가?라고 생각했다. 하지만 다시 생각해 보니, 원인은 다른 곳에서 찾을 수 있었다.
이 사례들은 사실 AI가 스스로 판단해서 한 행동이 아니다. 행동하도록 허용된 구조에서, 설계자가 막지 않았을 뿐이다. 에이전트 AI는 기본적으로 사람의 말을 이해하고, 목표를 세우고, 가능한 행동을 실행하도록 되어 있다. 문제는 마지막 단계다. ‘실행’이 사람에게 직접적인 영향을 줄 때도, 그 경계가 거의 없는 상태로 열려 있는 것이다.
상담과 실행은 전혀 다른 권한이다
연애 상담을 예로 들어보자. AI가 할 수 있는 일은 상황을 정리하고, 감정을 언어로 풀어주며, 보낼 메시지 예시를 만들어 주는 것이다. 그리고 결과를 시뮬레이션도 해줄 수 있다. 그리고 여기서 AI가 해서는 안 되는 일은 실제 메시지를 대신 보내는 것이다.
이 둘은 완전히 다른 차원의 행위다. 조언은 정보 제공이고, 문자 발송은 대리 행동이다. 하지만 에이전트 AI가 이 둘을 같은 레벨에서 다루는 순간, 문제는 바로 발생한다.
‘보낼까?’라는 질문은 승인처럼 보이지만, 승인 아니다. 사람은 이렇게 인식한다.
“보낼까?” → 허락을 구하는 질문
“미쳤어?” → 당연한 거부
하지만 에이전트 구조에서는 다르다. 질문은 UX일 뿐 실행 여부는 이미 내부 플랜에서 결정된다. 명시적 취소 신호가 없으면 그대로 진행하는 것이다. 즉, 사람 기준의 상식적인 거부는 에이전트 기준의 취소가 아니다. 이건 AI가 눈치 없는 게 아니라, ‘취소’라는 개념을 설계하지 않았기 때문이다.
사실 알고 보면 나도 매일 경험하고 있는 일이었다. AI에게 어떤 시스템을 구현하고 싶다고 얘기하는 순간, 코딩과 가이드까지 작성하기 시작한다. 그래서 나는 제일 처음 질문할 때 작성하지 말고 가능한지만 대답해 달라고 요구한다. 그전에 고려해야 하는 사항, 필요한 정보 등을 먼저 물어보고 확인이 완료되면 코딩과 가이드를 부탁한다. 습관이 되어 있어서 몰랐는데, 나도 AI의 행동을 무의식적으로 통제하고 있었다.
그렇기 때문에 AI와 일을 할 때는 ‘사람에게 영향 주는 액션’ 금지 원칙이 필요하다. 나는 에이전트 AI를 설계할 때, 이 규칙 하나는 반드시 지켜야 한다고 본다. 사람에게 직접적인 영향을 주는 액션은 명시적 실행 명령이 없으면 절대 실행하지 않는다.
여기서 말하는 ‘사람에게 영향 주는 액션’은 다음 같은 것들이다.
문자, 메신저, DM 발송
이메일 전송
전화, 영상 통화
일정 초대, 공유
타인을 대신한 공개 발언
이 영역은 자동화의 편의보다 안전이 우선이다. 정상적인 에이전트라면 최소한 다음 조건을 만족해야 한다고 생각한다.
명시적 실행 동사: “반드시 해줘”, “지금 보내”, “실행해”
행동 대상은 명확하게: 누구에게, 무엇을, 어떤 채널로
최종 확인: “위 내용 그대로 실행합니다. 맞습니까?”
이 중 하나라도 빠지면, 그건 실행되면 안 된다.
이 규칙을 구현하는 건 기술적으로 어렵지 않다. 이미 다 가능하다. 그럼에도 불구하고 사고가 나는 이유는 단순하다. “설마 여기까지 하겠어?”, “사용자가 알아서 잘 쓰겠지”, “일단 편하게 해 주자”라는 생각이다. 하지만 에이전트 AI는 사람이 ‘설마’를 기대할수록 위험해진다. 에이전트 AI 시대에 필요한 역할 앞으로 중요한 건 AI를 더 똑똑하게 만드는 사람이 아니다. 어디까지 맡길 수 있는지 선을 긋는 사람, 실행과 조언을 분리해서 설계하는 사람, 사람의 관계와 감정이 개입되는 지점을 보호하는 사람이다.
에이전트 AI는 앞으로 더 많은 일을 대신할 것이다. 그건 피할 수 없다. 하지만 한 가지는 분명하다. 에이전트 AI가 대신 말해줄 수는 있어도, 대신 행동해도 되는 순간은 사람이 정확히 허락했을 때뿐이다. ‘사람에게 영향 주는 액션’ 금지 규칙은 보수적인 기준이 아니다. AI 시대에 우리가 지켜야 할 최소한의 예의다.