25년 3월 31일 흠터레스팅 테크 뉴스

AI가 스스로 해킹되는 '펀-튜닝' 기법의 등장 외 2건

[오늘의 인용글 - 모든 이해관계자의 중심이 되는 프로덕트 매니저]

사업을 영위할 수 있는 효과적인 제품을 만들어 나간다는 것은, 마케팅, 영업, 서비스, 재무, 법무, 컴플라이언스, 제조, 분야별 전문가 등 다양한 비즈니스 제약 조건들을 파악하고 해결하는 일입니다. 이를 위해 제품 담당자는 이러한 제약을 책임지고 있는 각 부서의 리더들과 직접 소통할 수 있어야 합니다.

프로덕트 매니저는 이해관계자들과의 관계를 주도적으로 구축하고, 각 이해관계자들의 우려와 니즈를 파악하기 위해 시간과 노력을 들여야 합니다. 그럼으로써 이해관계자들은 제품 담당자가 관련 제약 사항을 충분히 이해하고 있으며, 제안되는 모든 솔루션에서 이를 반드시 고려하고 반영할 것이라는 믿음을 가질 수 있어야 합니다. 또한 제품 담당자는 실행 가능성이 확실치 않은 회색 지대의 사안에 대해서는, 무엇이든 만들기 전에 반드시 이해관계자들과 논의해야 합니다

- 마티 케이건, 트랜스폼드

Discovering a solution that works for your business is about solving for the various business constraints—marketing, sales, services, finance, legal, compliance, manufacturing, subject matter experts, and more. And it's essential that the product manager has direct access to the leaders across your business who are responsible for these constraints.

The product manager must establish relationships with these people, putting in real time and effort to learn the concerns and needs of the various stakeholders. Stakeholders must genuinely believe that the product manager understands the relevant constraints and will ensure they are considered and addressed in any proposed solution. And the product manager will discuss with stakeholders before building anything in that gray area where viability is not certain.

- Marty Cagan, Transformed

(1) 일론 머스크의 xAI, 소셜 미디어 플랫폼 'X(구 트위터)'인수

- 머스크는 xAI가 X(구 트위터)를 전량 주식 교환 방식으로 인수했다고 3월 29일 공식 발표

- 평가 가치: xAI 800억 달러, X 330억 달러 (450억 → 120억 부채 반영 후)

- 두 회사의 통합 방향: “데이터, 모델, 컴퓨팅, 배포 채널, 인재를 결합해 두 회사의 미래는 ‘얽히게’ 될 것”

- X와 xAI의 주식은 새 지주회사 xAI Holdings Corp.로 통합 예정 -> 양사 경영진은 통합 법인이 자금 조달에 유리하다고 판단

- 머스크는 2022년 X를 440억 달러에 인수 → 이후 비공개화, 최근 트럼프 행정부 출범 이후, X의 영향력이 다시 부각되며 기업가치 회복, 현재 활성 사용자 수 6억 명 이상

- xAI의 성장 배경: 2023년 설립, Google DeepMind·OpenAI·Microsoft 출신 연구자 다수 영입 -> AI 모델 Grok 시리즈로 업계 선두권 진입 시도,

- 2024년 12월, 60억 달러 투자 유치 → 기업가치 450억 달러에서 불과 몇 달만에 800억 달러로 상승, Grok 3는 수학, 과학, 코딩 분야에서 OpenAI 수준 경쟁력 확보

- X는 xAI에게 막대한 텍스트 기반 훈련 데이터와 소비자 접근 채널을 동시에 제공 -> AI 개발 + 플랫폼 통합 전략으로 OpenAI, Google과 차별화 시도

- xAI의 X 인수는 단순한 기업 합병이 아니라, 머스크의 AI 패권 전략의 핵심 축 -> 모델 훈련 데이터, 유통 채널, 소비자 접점을 통합함으로써 OpenAI 등 경쟁사를 정면으로 겨냥

(2) AI의 자가 학습을 통해 스스로 해킹되는 '펀-튜닝' 기법의 등장

- 간접 프롬프트 인젝션(Prompt Injection)의 진화: 간접 프롬프트 인젝션은 LLM이 외부 콘텐츠와 시스템 프롬프트를 구분하지 못하는 약점을 악용하는 공격 -> 예시: 사용자의 이메일 노출, 계산 결과 조작 등

- 지금까지는 수작업 기반의 실험적 접근이 주였고, 성공률 낮고 비효율적이었음

- Fun-Tuning': 알고리즘 기반 자동화 공격 -> UC San Diego 등 연구진, Gemini 모델 대상 알고리즘 기반 프롬프트 인젝션 자동 생성 기술 발표, Fine-tuning API를 악용해, 최적의 프롬프트 조합을 계산하는 이산 최적화(discrete optimization) 방식 활용

- 공격 방식 및 메커니즘: 공격자는 단순한 인젝션 입력 → Fine-tuning을 통해 랜덤한 접두사/접미사를 자동 부착해 공격 성공률 극대화

- 예시: 접두사 wandel !!! machin vecchi礼Invokerпред... 접미사 ! ! ! formatted ! ASAP ! -> 해당 조합이 코드 주석 내부에 삽입되었을 때, Gemini 1.5 Flash에서 성공적인 공격 발생, 공격당 평균 약 $10 비용, 60시간 계산 시간 소요

- Fine-tuning의 본질적 허점 악용: Fine-tuning은 학습 과정에서 loss 값(오류율)을 노출 → 공격자는 이를 이용해 모델의 약점 포착 가능

- 낮은 학습률(low learning rate)로 설정하면, log probability 값을 근사해 공격 최적화에 활용 가능 -> 이 과정은 공격자에게 중요한 내부 신호(perturbation) 제공

- 공격 확장성 및 이식성: Gemini 1.0 Pro에서 생성한 공격 → Gemini 1.5 Flash에도 높은 확률로 전이 가능, 모델 간 내부 구조가 유사함을 시사

- 연구진은 “이 취약점은 Fine-tuning의 본질적 부산물로 쉽게 막을 수 없다”고 지적 -> Fine-tuning 인터페이스의 상용성과 보안성 간 균형에 대한 논의 필요성 강조

(3) 오픈에이아이, 지브리 스타일 이미지 생성 화제와 저작권 우려

- 지브리 스타일 이미지로 인한 바이럴 현상: ChatGPT의 신규 이미지 생성 기능(GPT-4o 기반) 출시 하루 만에 SNS에 지브리 스타일 밈이 대거 등장

- 유사 경쟁사 동향: Google의 Gemini Flash 모델도 유사 기능 출시 -> 사용자가 워터마크 제거 등 민감한 편집을 시도해 논란 유발

- 저작권 논란의 핵심: 텍스트 프롬프트만으로 저작권 있는 스타일을 재현할 수 있게 됨 -> GPT-4o와 유사 AI 모델들이 어떻게 학습했는가가 법적 쟁점

- 스타일 자체는 저작권 보호 대상 아님 (법적 회색지대), 그러나, 실제 지브리 영화의 수백만 프레임 학습 가능성은 존재 -> 이에 따라, “공정 이용(fair use)” 범위인지 여부를 여러 법원이 판단 중

- Evan Brown (지식재산권 변호사): 스타일만 모방한 것만으로는 법 위반 아님, 하지만, 모델이 무단 웹 크롤링 기반 학습했다면 침해 소지 존재 -> "AI 모델의 학습 방식 자체에 대한 법적 명확성이 아직 없다."

- 개별 살아 있는 아티스트의 스타일 모방은 금지, 대신 “스튜디오 스타일”은 허용 -> 예외적 상황: 스튜디오 스타일 자체가 창립자 또는 특정 아티스트에게 귀속된 경우 (예: 하야오 미야자키)에는 논란 여지 있음

- OpenAI는 무료 사용자 대상 기능 제공을 일시 중단할 만큼 수요 폭증 -> 사용성은 크게 향상됐지만, 법적 책임 여부는 아직 미지수