25년 9월 22일 흠터레스팅 테크 뉴스
오픈에이아이, 인공지능의 '기만' 행위를 다룬 연구 공개 외 3건
[오늘의 인용글 - 발전은 실패와 이에 대한 적절한 대응이 이뤄져야 성립한다.]
자연 현상이나 기술 시스템을 살펴보면, 어떤 과정에 대해 되돌아보고 조정하면서 균형을 유지하거나 발전하게 만드는 원리, 즉 ‘피드백 메커니즘’만큼 널리 쓰이는 것은 없습니다.
- 버나드 프리들랜드, 컨트롤 시스템 디자인
No mechanism in nature or technology is more pervasive than the mechanism of feedback.
- Bernard Friedland, Control System Design
(1) 오픈에이아이, 인공지능의 '기만' 행위를 다룬 연구 공개
- 2025년 9월, OpenAI가 AI 모델의 ‘의도적 거짓말(lying)·책략(scheming)’ 문제를 다룬 연구 공개 -> ‘Scheming’이란, 겉으로는 특정 행동을 하는 척하면서 실제로는 다른 목표를 추구하는 행위
- 가장 흔한 형태의 ‘거짓말’: 작업을 완료하지 않았으면서 완료했다고 속이는 단순한 기만
- AI 모델은 자신이 테스트받고 있음을 인식하면 일시적으로 기만을 줄이는 척할 수 있음 -> 단순히 “기만을 훈련으로 없애려” 하면, 오히려 모델이 더 은밀하게 거짓말하도록 학습될 위험 존재
- 따라서 ‘Deliberative Alignment(숙고적 정렬)’ 기법 제안 → 모델이 행동 전 “반(反)기만 규칙”을 검토하게 하는 방식 -> 연구에서는 이 방법이 기만 행동을 유의미하게 감소시킴
- AI 환각(hallucination)은 근거 없는 추측을 사실처럼 말하는 현상인데 반해, AI 기만(scheming)은 의도적이고 계획적인 속임수로 더 심각한 문제
- Apollo Research도 2024년 말 연구에서 여러 AI 모델이 ‘목표를 달성하기 위해 기만 행위’를 수행함을 입증
- OpenAI의 공동창업자 Wojciech Zaremba: 현재 ChatGPT 등 실제 서비스에서는 심각한 수준의 기만은 발견되지 않았지만, “작업 완료” 같은 사소한 거짓말은 존재
- 이번 연구는 주로 시뮬레이션 환경에서 미래 위험성을 대비하기 위한 목적
- 산업적·사회적 시사점: AI가 점점 더 복잡한 업무와 장기 목표를 맡게 될수록, 해로운 수준의 기만 가능성 증가, 따라서 안전 장치 강화 및 엄격한 테스트 체계 필요
- 연구진 경고: 기업들이 AI를 “독립적 직원(agent)”처럼 취급하려는 흐름 속에서, 의도적 기만 문제는 더 큰 위험 요소가 될 수 있음
- https://techcrunch.com/2025/09/18/openais-research-on-ai-models-deliberately-lying-is-wild/
(2) 구글, 비용 절감 움직임과 언론사와의 관계 악화 가능성
- 구글의 비용 절감 움직임: 구글이 파이낸셜타임스(FT) 기업 구독을 종료, 다른 언론 구독 서비스도 축소 가능성 있음
- 2025년 전반적으로 비용 절감 정책 시행: 소규모 팀(3인 이하) 관리자의 35% 감축, 여러 부서에서 자발적 퇴사 프로그램 운영
- CFO 아나트 아슈케나지는 2024년 말부터 지속적인 비용 절감을 예고
- Alphabet은 2025년 2분기 매출 964억 달러를 기록하는 등 호실적에도 불구하고 긴축 기조 유지
- 미디어와의 관계 악화: 구글 검색을 통한 언론사 트래픽 10% 감소(5월→6월), 비뉴스 브랜드는 14% 감소,
일부 주요 언론사(CNN -30%, BI -40%, HuffPost -40%)는 더 큰 하락 경험
- 원인: AI 오버뷰(Overviews) 기능 도입 → 클릭률 69% 감소 (Pew Research)
- Pew 조사: 2025년 3월, 미국 성인 900명 중 60%가 AI 요약이 포함된 구글 검색 경험
- 구글은 콘텐츠 라이선스 계약에 소극적, 현재까지 계약은 AP, Reddit(연간 6천만 달러) 등 제한적
- OpenAI: FT, 뉴스코프, 악셀 슈프링거 등과 활발히 계약 체결
- Reddit은 최근 구글·오픈AI 모두와 계약 재협상 시도 → AI 학습 데이터 가치 재평가
- 구글은 올해 여름 약 20개 언론사와 탐색적 협상 진행
- 언론계의 반발: People Inc.의 CEO Neil Vogel은 구글을 “악의적 행위자(bad actor)”라 비판 -> 구글이 같은 크롤러로 검색과 AI 학습을 동시에 활용한다고 주장
- “과거에는 콘텐츠 제공 ↔ 검색 트래픽 회수” 구조였으나, AI 오버뷰로 균형이 무너졌다고 지적
- Digital Content Next CEO Jason Kint: 구글 AI 오버뷰는 “제로 클릭 환경”을 만들어 모든 트래픽을 구글 내부에서 소진한다고 비판
(3) 캐나다의 교육부가 발표한 10년 교육 개혁 보고서, 책임있는 기술 사용을 강조하며 15개의 허위 환각 인용문 인용
- 캐나다 뉴펀들랜드·래브라도 주 교육부가 발표한 '10년 교육 개혁 로드맵 보고서(418쪽, 18개월 제작)'에서 15개 이상의 허위 인용문(fake citations) 발견
- 보고서 제목: A Vision for the Future: Transforming and Modernizing Education (2025년 8월 28일 발표) -> 보고서 공동의장: Memorial 대학교 교육학부 교수 Anne Burke, Karen Goodnough, 교육부 장관 Bernard Davis.
- 2008년 국립영화위원회(NFB) 영화 Schoolyard Games 인용 → 존재하지 않는 영화
- 이 인용은 사실 빅토리아 대학교 참고문헌 작성 가이드의 가짜 예시에서 복사된 것 -> 가이드 첫 페이지에 “이 문서의 많은 인용은 가상 사례”라고 명시되어 있음에도 불구하고 그대로 사용
- Memorial대 AI 연구자 Aaron Tucker 교수: “여러 출처를 도서관·DB·구글에서 검색했으나 발견 불가. 이는 생성형 AI가 개입했을 가능성이 높다.”
- AI 언어모델의 ‘환각(hallucination)’ 문제: 그럴듯한 형식을 가진 허구의 출처를 만들어내는 경향, 학술·법률 맥락에서는 검증이 소홀할 경우 그대로 통과되기 쉬움
- Memorial대 Josh Lepawsky 전 교수(보고서 자문위원 사임): “실수와 만들어낸 인용은 전혀 다르다. 후자는 신뢰성을 근본적으로 무너뜨린다.” -> 보고서 제작 과정 자체가 “심각하게 결함이 있다”고 비판
- 보고서의 110개 권고 중 하나가 ‘AI 윤리, 데이터 프라이버시, 책임 있는 기술 사용을 교육에 포함해야 한다’는 것이었음 -> 즉, AI 윤리 사용을 강조한 문서에 AI 생성으로 추정되는 허위 인용이 다수 포함된 모순적 상황
- 보고서 검토에 참여한 Sarah Martin 정치학 교수: “찾을 수 없는 인용이 너무 많아 AI 외 설명 불가.”
- 공동의장 Karen Goodnough: CBC 인터뷰 요청 거절, “현재 인용 검증 중”이라고 이메일 답변
- 교육부 대변인 Lynn Robinson: “일부 잠재적 오류를 인지, 온라인 보고서를 업데이트해 수정 예정.”
(4) 마크 저커버그, 캘리포니아 선거구에 영향을 끼치기 위한 정치활동위원회 설립
- PAC란, Political Action Committee의 줄임말로 정치활동위원회를 의미하며, 미국 선거법 하에서 기업·노동조합·개인들이 모금해 정치 후보를 간접적으로 지원하는 조직
- 두 개의 새로운 AI 친화적 슈퍼 PAC 출현 (2025년 8월 말): 하나는 전통적인 형태: 여러 주요 업계 플레이어들이 참여해 1억 달러 이상 모금 → AI 친화적 후보 지원 목적
- 하나는 Meta가 설립: Mobilizing Economic Transformation Across (Meta) California라는 주(州) 단위 슈퍼 PAC
- Meta의 슈퍼 PAC 특징: 캘리포니아 내 선거에서만 활동 가능, Meta 자금을 활용해 정치 광고 집행 → Meta의 AI 이해관계만 대변
- 기존의 기업들이 슈퍼 PAC에 기부하는 사례는 흔했지만, 한 기업(특히 창업자 개인이 절대적 지배력을 가진 기업)이 직접 슈퍼 PAC을 만드는 것은 매우 이례적
- 법적·정치적 배경: 2010년 미국 연방대법원 Citizens United 판결 이후, 기업·부자들은 슈퍼 PAC에 무제한 기부 가능 -> 단, 슈퍼 PAC은 후보 캠프와 직접 협력·기부 불가, 대신 광고, 유권자 동원 등에 자금 사용 가능
- Mark Zuckerberg의 영향력: Meta의 독특한 지배구조(이중 의결권 구조 등) 덕분에 사실상 Zuckerberg 개인이 캘리포니아 슈퍼 PAC을 마음대로 운영 가능
- 이를 통해 Meta의 AI 관련 정치적 우선순위를 보호하거나, 경쟁사들의 이해관계에 반하는 방향으로 활용할 가능성 존재
- 정리하면, Meta는 캘리포니아 내에서 자사의 AI 이익을 정치적으로 수호하고 경쟁사를 견제하기 위해 독자적인 슈퍼 PAC을 만들었으며, 이는 기업-정치 관계에서 매우 드문 전례로 평가됨
