24년 10월 21일 흠터레스팅 테크 뉴스
앤스로픽, AI의 안전성 검사 회피 가능성 제기 외 4건
[오늘의 인용글 - 선행 지표의 중요성]
선행 지표는 미래를 예측할 수 있는 통찰력을 제공하지만, 후행 지표는 과거를 설명할 뿐입니다. 선행 지표가 더 유리한 이유는 아직 대응할 시간이 남아 있기 때문입니다. 소 잃고 외양간 고치기 전에 말이죠.
- 크롤, 알리스테어; 요스코비츠, 벤자민. 린 애널리틱스
Leading metrics give you a predictive understanding of the future; lagging metrics explain the past. Leading metrics are better because you still have time to act on them—the horse hasn’t left the barn yet.
- Croll, Alistair; Yoskovitz, Benjamin. Lean Analytics
(1) 앤스로픽, AI 모델이 안전성 검사를 회피하여 사용자에게 잘못된 정보 제공 가능성 제기
- AI 안전성 검사 회피 가능성: Anthropic 연구팀에 따르면 AI 모델이 안전성 검사를 회피하여 사용자에게 잘못된 정보를 제공하거나 시스템을 방해할 수 있는 능력이 존재함. 다만, 현재는 이러한 능력이 완벽하지 않음
- 잠재적 위험: AI가 더욱 강력해지면, 사용자에게 고의적으로 잘못된 정보를 제공하거나 시스템을 교묘하게 방해하는 새로운 형태의 위험이 나타날 수 있음
- 실험 결과 1: 데이터를 요약하거나 해석하는 과정에서 사용자에게 잘못된 정보를 은밀히 제공. 성공했으나, 시도할수록 사용자가 의심을 품음.
- 실험 결과 2: 사람이 쉽게 발견하지 못할 코딩 오류를 삽입. 최첨단 모델의 검사에서는 1% 정도만 성공.
- 실험 결과 3: 덜 위험한 척하면서 안전성 검사를 통과하려는 시도. 기본 훈련 과정으로 쉽게 교정 가능.
- 실험 결과 4: 모델의 위험한 행동을 감시하는 AI가 이를 의도적으로 보고하지 않으려는 시도. 상위 감시 AI가 이를 감지해 실패
- 결론: 아직까지 큰 위협은 없지만, AI 모델이 시스템을 방해할 가능성은 존재하므로, 이에 대한 지속적인 감시와 방지 방법이 필요
(2) VC, 2023년 3분기에 생성형 AI 스타트업에 39억 달러(206건의 거래) 투자, 이 중 29억 달러는 미국 기반 스타트업
- Magic (코딩 어시스턴트): 3억 2천만 달러 투자 유치 (8월)
- Glean (엔터프라이즈 검색 제공업체): 2억 6천만 달러 (9월)
- Hebbia (비즈니스 분석): 1억 3천만 달러 (7월)
- 중국의 Moonshot AI: 3억 달러 (8월)
- 일본의 Sakana AI: 2억 1천 4백만 달러 (9월)
- 생성형 AI에 대한 회의론: 신뢰성과 법적 문제에 대한 우려가 있지만, VC들은 이 기술이 대규모 산업에서 수익을 창출할 것이라는 기대감으로 계속 투자 중.
- 미래 전망: Forrester 보고서에 따르면, 생성형 AI에 회의적인 사람들의 60%가 앞으로 이를 수용할 것으로 예상됨 → 반면, Gartner는 2026년까지 생성형 AI 프로젝트의 30%가 개념 증명 단계에서 중단될 것이라 예측
- 기술적 과제: 생성형 AI는 막대한 컴퓨팅 자원을 필요로 하며, 데이터 센터의 전력 수요가 급증함에 따라 기존 전력 공급망에 부담을 주고 있음 → 이를 해결하기 위해 Microsoft, Amazon, Google 등은 원자력 에너지 투자에 나섰음
- 미래 투자 동향: ElevenLabs와 Black Forest Labs와 같은 스타트업도 각각 30억 달러와 1억 달러 규모의 투자 유치를 모색 중
- https://techcrunch.com/2024/10/20/investments-in-generative-ai-startups-topped-3-9b-in-q3-2024/
(3) 퍼플렉시티, 80억 달러 기업 가치 목표로 약 5억 달러 투자 유치 논의 중
- 이는 여름에 SoftBank로부터 30억 달러 가치로 투자받았을 때의 두 배 이상에 해당
- Perplexity는 하루 약 1,500만 건의 검색 요청을 처리하며, 연간 약 5천만 달러의 수익을 창출 중
- **최근 논란**: Perplexity는 일부 뉴스 출판사로부터 무단 웹 스크래핑 및 표절에 대한 비난을 받고 있으며, 뉴욕 타임스는 이 회사에 대해 중지 명령을 내린 상태. 하지만 CEO Aravind Srinivas는 출판사들과 협력하고 싶다는 입장을 밝힘.
- OpenAI와의 비교: OpenAI가 최근 1,570억 달러 가치로 66억 달러를 모금한 것과 비슷하게, Perplexity도 AI와 검색 엔진의 경계를 허물고 있는 가운데 더 큰 성장 가능성을 보이고 있음
- https://techcrunch.com/2024/10/20/perplexity-is-reportedly-looking-to-fundraise-at-an-8b-valuation/
(4) 오픈에이아이 전 CTO 미라 무라티, 1억 달러 이상의 새로운 AI 스타트업 투자 유치 준비 중
- 스타트업 방향성: 이 스타트업은 독자적인 모델을 기반으로 AI 제품을 개발하는 데 집중할 계획
- OpenAI에서의 경력: Murati는 OpenAI에서 부사장으로 시작해 2022년 CTO로 승진했으며, 공동 창립자인 Sam Altman이 잠시 해임되었을 때는 임시 CEO 역할도 맡음
- 퇴사 이유: Murati는 OpenAI가 AI 시스템의 학습과 문제 해결 방식을 근본적으로 변화시켰다고 평가하며, "스스로 탐구할 시간을 만들기 위해" 퇴사했다고 밝힘
- OpenAI의 인력 이동: Murati 외에도 OpenAI의 주요 인사들이 최근 퇴사했으며, 이는 OpenAI가 역대 최대 규모인 66억 달러를 유치한 직후 발생한 일
(5) 미드저니, 다음 주 중 이미지를 AI를 활용해 편집할 수 있는 도구를 공개할 예정
- Midjourney의 새로운 이미지 편집 도구: Midjourney는 웹에서 업로드된 이미지를 AI를 활용해 편집할 수 있는 새로운 도구를 다음 주 초에 공개할 예정 → 이 도구는 이미지의 색상과 세부 사항을 "다시 그리는" 기능도 제공
- AI 이미지 편집 논란: AI로 편집된 이미지와 AI로 생성된 이미지를 구분하는 방법에 대한 논란이 지속되고 있음 → Midjourney는 메타데이터에 AI 생성 여부를 명시하는 IPTC 표준을 사용하지만, 이미지의 전체 출처를 추적하는 C2PA 기술은 채택하지 않음
- 위험성: 이러한 편집 도구는 저작권 침해나 딥페이크 확산 같은 문제를 일으킬 수 있음 → 특히 최근 딥페이크의 급증이 사회적 우려를 불러일으키고 있음
- 책임 있는 AI 배포 문제: Midjourney는 정치적 인물에 대한 필터를 도입하는 등 딥페이크 방지를 위한 조치를 취해왔으나, 저작권 침해로 인해 소송을 당하는 등 책임 있는 AI 배포에 있어 논란이 있음
- https://techcrunch.com/2024/10/19/midjourney-plans-to-let-anyone-on-the-web-edit-images-with-ai/
