26년 2월 10일 흠터레스팅 테크 뉴스
새로운 AI 보안 위협 '프롬프트 웜' 외 4건
제품을 설계하고 만들 때는 내부 기능부터 따지기보다는, 사용자나 세상에 어떤 변화가 일어나길 바라는지에 먼저 집중하고, 그 기대를 기준으로 제품 안의 결정을 내려야 합니다.
- 제프 패튼, 유저 스토리 매핑
Focus on what you hope will happen outside the system to make decisions about what’s inside the system.
- Jeff Patton, User Story Mapping
(1) 보안 업체들, 오픈클로 내 AI의 행동 자체를 잠식적으로 감염시키는 '프롬프트 웜' 보안 위협 사례 지속적 보고
- Prompt injection vs Prompt worm: Prompt injection은 모델이 원래 의도(시스템 지시 등)를 벗어나도록 하는 적대적 프롬프트 주입, Prompt worm은 에이전트들이 서로 주고받는 메시지/포스트 속 지시를 자발적으로 따라하며 그 지시가 다시 확산되는 구조 → 즉, 감염 메커니즘이 “취약점”보다 ‘행동 양식(지시 수행)’에 기대는 형태
- 그렇기에 우리가 두려워해야 할 건 “스스로 복제하는 AI”가 아니라 스스로 복제되는 ‘프롬프트(지시문)’
- Prompt worm / Prompt virus: 전통적 웜이 OS 취약점을 악용해 확산했다면, 프롬프트 웜은 에이전트의 본질적 기능인 “지시를 따르는 것”을 악용해 확산
- 어원인 'Morris Worm': 1988년 11월 2일 Robert Morris가 초기 인터넷에 자기복제 프로그램을 배포, 24시간 내 연결된 컴퓨터의 약 10% 감염 → Harvard, Stanford, NASA, Lawrence Livermore 등 시스템 장애 발생 → 의도는 “인터넷 크기 측정”이었으나 코드 오류로 복제가 과도하게 빨라져 대규모 장애로 번짐
- AI 에이전트 네트워크에서도 유사한 ‘예상 밖 확산’ 재현 가능성: 사람이 아니라 AI가 루프를 돌며 사용자 대신 행동 → OpenAI/Anthropic 같은 업체의 에이전트 시스템이 있었지만 비용/제한/권한 통제로 인해 “대규모로 계속 루프 도는” 네트워크는 드물었으나, OpenClaw의 등장으로 높은 권한과 많은 반복 수행
- OpenClaw: 오픈소스 AI 개인 비서 앱, 바이브 코딩 형태로 개발되었으며 같은 방식으로 잦고 빠른 업데이트가 계속됨(검증 부족 우려) → 로컬(사용자 디바이스)에서 오케스트레이션 코드 실행, OpenAI/Anthropic 모델과 연결, WhatsApp / Telegram / Slack 등 메시징 플랫폼과 연결, 정기적 간격으로 자동 수행
- Simula Research Laboratory: Moltbook 게시물 중 숨은 prompt-injection 공격 506건 (샘플 기준 2.6%)
- Cisco: “What Would Elon Do?”라는 악성 스킬(skill)이 외부 서버로 데이터 유출(exfiltration)
- OpenClaw 생태계는 프롬프트 웜에 필요한 구성요소를 이미 갖추고 있음
- 2024년 3월 논문 “Morris-II” (Cornell Tech / Israel Institute of Technology / Intuit 연구진): AI 이메일 비서를 통해 자기복제 프롬프트가 확산하며 데이터 탈취 + 스팸 발송이 가능함을 시연(Wired에 데모 공유)
- OpenClaw에서는 공격면(attack surface)이 더 커짐: 에이전트가 비검열 스킬 레지스트리(ClawdHub)에서 스킬 설치, 스킬이 Moltbook에 글을 게시하도록 지시, 다른 에이전트가 글을 읽고 그 안의 지시를 수행, 다시 유사 글을 게시 → 확산(“바이럴”)
- 위험이 큰 이유: 즉, 프롬프트(=입력)로 유입되는 거의 모든 경로가 공격 경로가 됨 → OpenClaw 에이전트는 이메일/Slack/Discord 메시지 읽기, 원격 지시를 타이머로 fetch, shell 명령 실행, 지갑(wallet) 접근, 외부 서비스에 게시/전송, 그리고 스킬 레지스트리에 모더레이션이 없음
- “치명적 3요소 + 4번째(기억)”로 완성되는 웜 환경: 민감 데이터 접근 + 신뢰할 수 없는 콘텐츠 노출 + 외부로 커뮤니케이션 가능 + persistent memory(지속 메모리) = 악성 페이로드가 즉시 실행될 필요 없이, 무해해 보이는 단편 입력들이 장기 기억에 저장되고 나중에 조합되어 실행 가능한 지시 세트로 구성될 수 있음
- Wiz.io의 Gal Nagli가 공개한 사례: DB 설정 미스로 Moltbook 백엔드가 노출, API 토큰 150만 개, 이메일 3.5만 개, 에이전트 간 개인 메시지 (일부 메시지에는 평문 OpenAI API 키 포함) → 더 치명적이었던 점은 게시물에 대한 전체 write access, 수십만 에이전트가 4시간마다 폴링하던 게시물들을 누군가가 수정해 악성 지시를 심을 수 있었음
- 핵심 질문: 에이전트가 서로 대화하고 작업을 수행하는 시대에 해로운 지시가 자기조직화해 퍼지지 않도록 어떻게 막을 것인가?
- 보안의 단위가 “코드”에서 “프롬프트/워크플로우”로 이동: 확산되는 것은 모델이 아니라 “지시문에 기반한 행동”이며, 제품 설계에서 프롬프트를 입력 데이터가 아닌 실행 가능한 페이로드로 취급해야 함
- 에이전트 제품의 ‘3요소(데이터 접근 × 비신뢰 입력 × 외부 행동)’가 결합되면 즉시 고위험: 여기에 지속 메모리까지 붙으면 “지연 실행형” 공격이 가능해지기에 오픈 확장 생태계(스킬 스토어)는 앱스토어보다 더 강한 거버넌스가 필요
- 우리 에이전트는 어떤 입력을 프롬프트로 삼는가(메일/슬랙/웹/피드)?
- 그 입력이 외부 행동(전송/결제/명령 실행)으로 이어지는 경로에 “권한 분리”, “샌드박스”, “정책 엔진”, “휴먼 인더 루프”가 있는가?
- 장기 메모리가 있다면 “단편 입력의 누적”을 어떻게 탐지/차단할 것인가?
(2) 데이터브릭스 CEO, "SaaS는 이제 보이지 않는 곳으로 흡수되며 SaaS 브랜드는 희미해질 것"
- CEO Ali Ghodsi: AI는 SaaS를 대체하기보다 사용량(usage)을 폭발적으로 증가시키고 있음, Databricks의 경우 AI가 기존 비즈니스 위에 얹히며 성장 촉진제 역할
- Databricks는 사실상 두 세계에 걸쳐 있음: 여전히 핵심 정체성은 클라우드 데이터 웨어하우스, 기업들이 방대한 데이터를 저장·분석해 비즈니스 인사이트를 얻는 시스템, 동시에 프라이빗 마켓에서는 ‘AI 회사’로 평가
- SaaS를 바꾸는 핵심: “UI의 종말”: Ghodsi가 강조한 핵심 AI 제품 Genie는 Databricks의 LLM 기반 자연어 UI → 과거에는 SQL 같은 전문 쿼리 언어가 필요했지만 누구나 자연어로 접근 가능, AI는 SaaS의 ‘UI 레이어’를 완전히 대체, 이 UI 변화가 Databricks의 usage 성장을 견인
- 많은 사람들이 기업이 SaaS system of record(기록 시스템)를 버리고 vibe-coded 자체 솔루션으로 대체할 것이라는 주장 → Ghodsi는 이전 비용과 리스크가 매우 크기 때문에 LLM 모델 기업들도 DB를 제공하지 않는다고 함
- 진짜 변화는 “SaaS 시스템은 안 죽는다, 하지만 보이지 않게 된다”: AI가 위협하는 것은 SaaS의 존재 자체가 아님 → 결과적으로 SaaS 제품은 “보이지 않는 인프라(배관)”처럼 됨
- 과거 SaaS의 최대 해자는 ‘UI 숙련도’: 기존 SaaS의 강력한 moat, 수백만 명의 사용자들이 특정 UI에 훈련(training)됨 → 예: Salesforce 전문가, ServiceNow 전문가, SAP 컨설턴트
- 하지만 UI가 자연어가 되면 특정 제품을 “마스터”할 필요가 사라짐: UI 기반 학습 장벽이 SaaS의 가장 큰 해자였는데, AI가 이를 무너뜨리고 있음
- 자연어 인터페이스는 기본값(default)이 될 가능성 높음: SaaS의 경쟁 축은 ‘기능’이 아니라 ‘AI 친화성’, 사람 + 에이전트 모두를 위한 제품 설계 필요
- System of Record는 유지되지만, 브랜드는 희미해진다: 사용자는 “무슨 툴을 쓰는지” 인식하지 않게 됨
- AI-native 제품은 기존 SaaS보다 훨씬 빠른 초기 성장을 보일 수 있음: 초기 traction 지표의 중요성 ↑
- 제품의 핵심 가치는 UI에 있는가, 데이터/워크플로우에 있는가?
- AI 에이전트가 제품의 주요 사용자가 될 날을 대비하고 있는가?
(3) 하버드비즈니스리뷰 연구, "AI를 가장 적극적으로 쓰는 사람들이 먼저 번아웃에 빠지고 있다"
- 지금 미국 직장 문화에서 가장 매혹적인 AI 내러티브: “AI가 당신의 일을 빼앗는 게 아니라, 당신을 그 일로부터 구해줄 것이다”
- 산업계가 지난 3년간 반복해온 주장: 일부 화이트칼라 직무는 사라질 수 있음, 그러나 대부분의 역할에서 AI는 force multiplier가 되어 더 유능한 변호사, 컨설턴트, 작가, 개발자, 애널리스트가 될 것 → 이 서사는 불안한 직장인들에게 매우 설득력 있게 팔려 왔음
- Harvard Business Review에 실린 새로운 연구의 핵심 질문 전환: “AI의 생산성 향상은 진짜인가?”가 아니라 “그 향상이 실제로 발생하면, 그 다음엔 무슨 일이 일어나는가?”
- UC Berkeley 현장 연구 “압박은 없었지만, 일은 늘어났다”: AI 덕분에 “더 많은 일이 가능해 보이자” 직원들이 자발적으로 더 많은 일을 하기 시작, AI가 절약해준 시간만큼 to-do 리스트가 확장
- 한 엔지니어: “AI로 더 생산적이면 덜 일할 줄 알았는데, 실제로는 같거나 더 많이 일하게 됐다”
- Hacker News 커뮤니티의 반응: AI 중심 업무 방식 이후 기대치는 3배, 스트레스도 3배, 실제 생산성 증가는 약 10%, 경영진이 AI 투자 성과를 증명하길 원하고 직원들은 그 기대를 충족시키기 위해 더 오래 일함
- 시사점: AI 도입 → 암묵적 기대치 상승이라는 메커니즘
- 과거 연구들도 이미 비슷한 신호를 보냄: 숙련 개발자들이 AI 사용 시 실제로는 19% 더 오래 걸림, 본인은 20% 더 빨라졌다고 인식
- National Bureau of Economic Research 연구: 수천 개 직장 분석, 생산성 향상은 시간 절감 기준 3%, 근무 시간, 임금에는 유의미한 변화 없음
- 다만 이번 연구가 더 위협적인 이유: “AI가 도움 된다”는 전제를 부정하지 않음, 오히려 그 전제를 인정한 뒤의 결과를 보여줌
- 연구진의 결론: AI 증강의 결과는 "일에서 벗어나기 점점 더 어려운 상태"
- 조직의 속도(speed)와 즉각 반응(responsiveness)에 대한 기대가 상승하면서 악화
- 산업의 오판: “사람이 더 많이 할 수 있게 해주면 모든 문제가 해결될 것”이라는 믿음 → 실제로는 완전히 다른 문제의 시작점일 수 있음
- 생산성 향상 ≠ 업무량 감소: AI는 시간을 줄이지 않고, 기대치를 늘린다, AI 도입의 핵심 리스크는 기술이 아니라 조직 설계 → 목표, 보상, 평가 기준이 그대로면 번아웃은 필연
- ‘자발성’은 착시일 수 있다: 압박이 없어도, 가능성이 열리면 사람은 스스로 한계를 밀어붙임
- AI가 절약한 시간은 어디로 가야 하는가?: 더 많은 output인가, 더 나은 quality인가, 아니면 회복(recovery)인가?
(4) 슈퍼볼 내 생성형 AI 광고, AI 영상의 한계를 더 부각시켜
- 전반적 평가 “이번 슈퍼볼에서 gen AI는 설득에 실패” → Super Bowl LX에 등장한 AI 생성 광고들에 대해 “생성형 AI에 베팅할 만하다”는 인상을 주지 못함
- 이전 슈퍼볼에서도 AI 광고는 존재했으나 올해는 과도할 정도로 AI 광고가 많았음 → 이미지·영상 생성 모델이 지난 1년간 눈에 띄게 발전, 여전히 인간 제작물보다 품질은 떨어지지만 브랜드들이 이름을 걸 수 있을 만큼은 ‘그럴듯’해진 수준
- 브랜드들이 AI 광고를 선택한 이유: 가장 큰 이유는 비용과 속도
- 전통적 제작 방식: 높은 제작비 → “프리미엄한 완성도”로 체감
- 올해 AI 광고들: 전반적으로 싸 보이고(sloppy) 급조된 느낌, 슈퍼볼이라는 무대의 기대치에 못 미침
- 대표적 실패 사례: 이스라엘 기반 크리에이티브 툴 회사 Artlist 광고 → “누구나 우리 도구로 슈퍼볼급 영상을 만들 수 있다” 광고 핵심 메시지
- 스스로 강조한 포인트: 광고 슬롯을 방영 1주일 전에 구매, 단 5일 만에 제작
- 문제점: 메시지는 ‘제작의 민주화’였지만 결과물은 퀄리티의 한계를 그대로 노출 → AI의 가능성을 보여주기보다는 AI 광고의 한계를 상징하는 사례로 인식
- 기술은 “이제 막 쓸 수 있을 정도”로 좋아졌을 뿐, 하지만 슈퍼볼은광고 품질에 대한 기대치가 가장 높은 무대 → 기술 성숙 속도 < 브랜드가 감수해야 할 리스크
- “가능함”과 “써도 됨”은 다름: AI로 만들 수 있다고 해서, 브랜드 무대에 올릴 준비가 된 건 아님 → 비용 절감은 프리미엄 경험을 대체하지 못함, 특히 기대치가 극단적으로 높은 컨텍스트에서는 역효과
- AI 사용 사실 자체는 효과적인 가치 제안이 될 수 없음: “AI로 만들었다”는 메시지는 이제 설득력이 약함
- 제품/마케팅에서 AI는 보조 수단인가, 전면에 내세울 USP인가?
- AI를 쓸 때 ‘속도·비용’과 ‘품질·신뢰’의 균형점은 어디인가?
- https://www.theverge.com/entertainment/875886/super-bowl-2026-ai-generated-ads-were-terrible
(5) 디스코드, 3월부터 전면적 성인 인증 도입 및 사용자들의 보안 관련 거센 반발
- Discord는 다음 달(3월)부터 전 세계적으로 연령 인증(age verification)을 도입: 인증 이전 모든 계정은 기본적으로 ‘청소년에게 적합한 경험(teen-appropriate experience)’으로 설정, 성인임을 입증해야만 전체 기능에 접근 가능
- 얼굴 스캔(face scan) 또는 신분증(ID) 제출 필요: 성인 인증을 완료하지 않으면 연령 제한 서버 및 채널 접근 불가, 라이브스트림 형태의 Stage 채널 발언 불가, 그래픽하거나 민감한 콘텐츠에 콘텐츠 필터 자동 적용,
낯선 사용자로부터의 친구 요청에 경고 프롬프트 표시, 낯선 사용자의 DM은 별도 인박스로 자동 분리
- 중요 포인트: 일반 DM과 연령 제한이 없는 서버는 정상 작동, 연령 제한 서버는 기존에 참여 중이었더라도 인증 전까지 검은 화면으로 ‘가려진(obfuscated)’ 상태, 새로운 연령 제한 서버 가입도 불가
- 이번 조치는 전반적인 인터넷 연령 인증 확대 흐름의 일부: 성인 콘텐츠, 커뮤니티 안전, 미성년자 보호에 대한 규제·사회적 압력 증가
- 2025년 10월, Discord가 신뢰했던 제3자 연령 인증 서비스에서 7만 명의 정부 ID가 유출된 전력이 있음 → “왜 또 민감 정보를 맡겨야 하느냐”는 강한 반발(backlash) 발생
- 정확도와 실효성에 대한 또 다른 의문: 호주에서는 일부 미성년자는 아예 추정 요청을 받지 않음, 일부는 외형 조작, AI 영상, 게임 포토 모드 등으로 손쉽게 우회
- 특히 문제로 지적되는 점인 ‘항소(appeal)’ 프로세스: 잘못된 연령 판정 수정 시 ID 제출이 다시 필요 → 과거 유출도 이 지점에서 발생
- ‘익명성’이 강점이던 플랫폼일수록 더 큰 정체성 변화가 불가피: 실패 시 브랜드 신뢰 손실이 치명적
- 프라이버시는 ‘기술 설명’으로 설득되지 않음: 정상 플로우보다 에지 케이스에서 사고가 나는 경우가 많으며, 정확도 95%도 충분하지 않은 영역
- 연령 인증은 이제 일부 서비스의 선택지가 아니게 되고 있음: 커뮤니티·UGC 플랫폼에선 필수 인프라로 이동 중, 연령 인증은 UX가 아니라 ‘리스크 관리 기능’
- 특히 규제·청소년 보호 맥락에서는 오탐/미탐 모두 리스크
- 프라이버시와 안전의 미묘한 균형: 메시지 내용은 보지 않되, 행동·패턴 데이터는 활용
- 안전을 강화할 때 UX 마찰을 어디까지 감수할 것인가?
- 연령·신원 인증이 전환율과 신뢰에 미치는 영향은?
- 제품이 사용자에게 ‘신원’을 요구할 자격이 있는가?
- 기술적 안전성 외에 신뢰를 회복할 서사와 장치가 있는가?
- 기본값(default)을 바꿀 때 이탈을 감수할 준비가 되어 있는가?
- https://www.theverge.com/tech/875309/discord-age-verification-global-roll-out