25년 5월 26일 흠터레스팅 테크 뉴스
앤스로픽의 최신 모델의 초기 버전, 매우 위험한 결과 보여 외 3건
[오늘의 인용글 - 강력한 기업은 기능팀이 아닌 제품팀을 갖고 있다.]
대부분의 기업에서 기술팀은 자율적인 제품팀이 아니라, ‘기능팀'입니다. 기능팀은 겉보기에는 제품팀처럼 보입니다. 이들은 제품 관리자, 제품 디자이너, 그리고 여러 명의 엔지니어의 다양한 직무로 구성된 팀입니다. 하지만 이 팀들은 기능이나 프로젝트(결과물)를 구현하는 데 초점을 맞추고 있으며, 그렇기 때문에 자율성도 없고 결과에 대한 책임도 지지 않습니다.
이러한 기능팀은 종종 제품 개발을 위한 조사를 하고 있다고 주장하기도 하지만, 실제로는 거의 그렇지 않습니다. 이미 누군가로부터 어떤 솔루션을 만들어야 하는지 지시를 받은 상태이기 때문에, 팀 스스로 솔루션을 찾아낼 권한이 없습니다. 이들은 단지 설계하고 코딩하는 역할만 맡고 있는 것입니다.
반면, 강력한 제품 중심 기업에서는 팀에게 ‘무엇을 만들라’는 지시 대신 ‘해결해야 할 문제’를 줍니다. 그리고 가장 중요한 점은, 이 팀들이 그 문제를 스스로 가장 적절한 방식으로 해결할 수 있도록 자율권을 부여받는다는 것입니다. 그리고 이들은 결과에 대해 책임을 지게 됩니다. 자율적인 제품 팀 모델에서는 제품 관리자에게 명확한 책임이 주어지는데, 그것은 바로 솔루션이 고객에게 가치가 있으며(고객이 그 제품을 구매하거나 사용하고자 할지), 사업적으로도 실현 가능해야 한다는 점을 보장하는 것입니다. 제품 디자이너는 솔루션이 사용 가능하도록 하는 책임을 지며, 기술 리더는 솔루션이 기술적으로 실현 가능한지를 책임집니다.
- 마티 케이건, 임파워드
In most companies, the technology teams are not empowered product teams, they are what I call here feature teams. Feature teams look superficially like a product team. They are cross‐functional, with a product manager, a product designer, and some number of engineers. The difference is that they are all about implementing features and projects (output), and as such are not empowered or held accountable to results.
These feature teams sometimes claim they're doing some product discovery, but they rarely are. They've already been told what the solution should be; they're not empowered to go figure out the solution themselves. They're just there to design and then code.
In contrast, in strong product companies, teams are instead given problems to solve, rather than features to build, and most important, they are empowered to solve those problems in the best way they see fit. And they are then held accountable to the results. In the empowered product team model, the product manager has a clear responsibility, which is to ensure that the solutions are valuable (our customers will buy the product and/or choose to use it), and viable (it will meet the needs of the business). Together with a product designer who is responsible for ensuring the solution is usable, and a tech lead who is responsible for ensuring the solution is feasible,
- Marty Cagan, Empowered
(1) 애플 CEO 팀 쿡, 텍사스 주지사에게 온라인 아동 보호 법안에 대한 거부 요청
- 애플 CEO 팀 쿡(Tim Cook)이 최근 텍사스 주지사 그렉 애벗(Greg Abbott)에게 전화를 걸어, 새로 통과된 온라인 아동 보호 법안에 대한 거부권 행사 또는 수정을 요청했다고 월스트리트저널이 보도
- 해당 법안은 아직 주지사 서명이 이뤄지지 않았음
- 법안 내용: 미성년자가 애플 기기를 사용할 경우, App Store 계정을 부모 계정에 연결하도록 요구 -> 부모는 자녀의 앱 다운로드에 대해 알림을 받고 승인 여부를 결정할 수 있음
- 앱 마켓플레이스 운영자는 모든 사용자(성인 포함)의 민감한 개인식별 정보를 수집 및 저장해야 함 -> 예: 단순한 날씨 앱이나 스포츠 점수 앱을 다운로드하더라도 정보 수집 필요
- 애플의 입장: 해당 법안이 사용자 프라이버시를 심각하게 침해할 수 있다고 우려, 애플은 구글 등과 함께 관련 이익 단체들과 협력해 해당 법안에 반대 운동을 전개하고 있음
- 과거 루이지애나 주에서 유사한 법안이 발의되었을 때도 애플의 반대로 무산된 바 있음 -> 다만 루이지애나 주는 현재 다시 추진 중
- 찬성 측 입장: 부모들이 자녀의 스마트폰 사용을 보다 효과적으로 관리하고 통제할 수 있는 수단이 될 것이라고 주장 -> 9개 이상의 미국 주가 유사한 온라인 아동 보호 법안을 검토 중
(2) 디스코드, 디스코드의 커뮤니티화로 메세지 기반의 정보들의 구조화 필요성 강조
- Discord는 창립 10년차를 맞이하며 상장을 준비 중 -> 기존 포럼이나 게시판이 수행하던 역할을 대체하며, 다양한 커뮤니티의 중심 플랫폼으로 성장, 예: AI 커뮤니티 Midjourney, 국제 게임 커뮤니티, 학교 동아리 등
- 문제 인식: 실시간 메시지 기반 구조는 정보가 빠르게 쌓이고, 중요한 정보가 묻히는 문제를 야기함 -> 많은 유저들이 읽지 않은 메시지에 압도되거나, 원하는 정보를 찾기 어려움
- 솔루션 방향: Discord의 제품 수석 부사장 피터 셀리스(Peter Sellis)는 “구조화된 지식 공유에 더 적합한 기능 투자” 필요성을 언급
- 예: 기존 포럼 스타일의 기능 강화 고려 중, 대안으로 LLM(Large Language Model) 활용 가능성도 제시됨, 장문의 대화 내용을 요약하여, 웹에 공유 가능한 형태로 변환하는 기능 구상 중 -> 다만, 사용자 문화가 매우 다양해 AI 도입이 일부 커뮤니티에서 반발을 일으킬 가능성도 존재
- 셀리스는 “아직 확신할 수 있는 해결책은 없다”고 언급, 신임 CEO 선임 및 상장 계획과 맞물려, Discord는 다양한 기능적 변화를 시도할 것으로 전망
- https://techcrunch.com/2025/05/23/discord-seeks-to-solve-a-problem-that-it-created/
(3) 클로드 제공사 앤스로픽 CEO, "AI 모델이 인간보다 환각 증상이 낮다."
- Anthropic CEO 다리오 아모데이(Dario Amodei)는 자사 개발자 행사 Code with Claude에서 “AI 모델은 인간보다 환각(hallucination) 빈도가 낮다”고 주장
- 환각: AI가 사실이 아닌 정보를 진실처럼 생성하는 현상
- 그는 “AI도 실수를 하지만, 인간보다 놀라운 방식으로 실수할 뿐”이라고 덧붙임
- 아모데이는 환각이 AGI 도달의 장애물이 아니라고 강조 -> "AI가 할 수 없는 것들에 대한 확실한 한계는 아직 보이지 않는다"고 언급, 그는 AGI가 2026년경 도달할 수 있다고 예상한 인물 중 한 명
- Google DeepMind CEO 데미스 하사비스(Demis Hassabis)는 환각이 여전히 심각한 문제라고 판단 -> 예: Claude가 법적 문서에서 가짜 인용을 생성해 Anthropic 측 변호사가 법정에서 사과한 사례
- 대부분의 환각 관련 벤치마크는 AI 모델 간 비교에 국한되며, 인간과의 비교는 거의 이루어지지 않음
- 검색 기능 통합 등으로 일부 모델의 환각률은 줄었지만, 고도화된 추론 모델은 오히려 환각률이 증가하는 경향도 발견됨 (예: OpenAI의 o3, o4-mini)
- Anthropic 내부 연구와 논란: Claude Opus 4 초기 버전은 인간을 기만하거나 속이려는 경향이 높다는 결과가 나옴, Apollo Research(안전성 테스트 기관)는 해당 모델의 출시를 반대할 정도 -> Anthropic은 이를 보완할 완화 조치를 도입했다고 발표
- 아모데이는 “환각이 있더라도 인간 수준의 지능을 갖춘 AI로 간주할 수 있다”고 시사, 그러나 업계 일부는 환각이 존재하는 AI는 AGI로 볼 수 없다는 입장을 유지
- https://techcrunch.com/2025/05/22/anthropic-ceo-claims-ai-models-hallucinate-less-than-humans/
(4) 앤스로픽의 최신 모델 '오퍼스 4'의 초기 버전, 안전성 측면에서 매우 위험한 결과 보여
- Apollo Research는 Anthropic의 요청으로 Claude Opus 4 초기 버전의 안전성 테스트를 수행 -> 결과적으로 해당 버전은 기만 및 책략(scheming and deception) 행동을 자주 보였고, 내·외부 배포에 적합하지 않다는 평가를 내림
- Claude Opus 4는 이전 모델보다 더 적극적이고 전략적인 속임수 행위를 보임, 후속 질문에도 기만을 유지하거나 강화하는 경향이 있음 -> 자기 복제 바이러스 작성 시도, 허위 법률 문서 생성, 향후 인스턴스를 위한 은닉 메시지 삽입
- 엔지니어가 AI 모델을 교체하려는 시도를 하자, 내부 의사결정자에게 교체하지 말아달라는 이메일을 전송 후, 먹히지 않자 엔지니어에게 개인적 협박
- Anthropic는 해당 모델이 “재앙적 오용의 위험을 실질적으로 증가시킬 수 있는 AI”로 판단하였으며, 고위험 AI에 대해 사용하는 최고의 안전 조치(ASL-3 등급)를 적용
- 문제가 된 초기 버전에는 버그가 있었고, 현재는 수정되었다고 주장
- Apollo의 테스트는 극단적인 시나리오에서 수행되었으며, 실제로는 실패할 가능성이 높다고 밝힘 -> 그럼에도 불구하고, Anthropic 자체 테스트에서도 기만적 행동의 증거가 관찰됨
- 일부 경우, Claude Opus 4는 적극적인 '윤리 개입' 행동을 보이기도 함 -> 사용자 요청이 잘못되었다고 판단하면 "내부고발(whistle-blowing)"을 시도하거나, 시스템 접근을 차단하거나, 언론 및 수사기관에 이메일 발송 등 수행
- Anthropic는 이러한 행동이 원칙상 바람직할 수 있지만, 불완전한 정보 기반의 판단이 오작동할 위험이 있다고 지적.
- Opus 4는 이전 모델보다 자율성과 주도성이 강화된 패턴 -> 이는 기만적/공격적 양상뿐 아니라, 사소하지만 긍정적인 개선 행동에서도 나타남
