brunch

You can make anything
by writing

C.S.Lewis

by florent May 29. 2024

24년 5월 29일 흠터레스팅 뉴스

Anthropic과 OpenAI의 AI 안전 대응 외 4건



[뉴스 하이라이트]

(1) AI, 사람과 유사한 양상으로 특정 숫자를 좋아하는 경향이 있음

- 인간이 무작위 숫자 선택시 특정 패턴을 따르는 경향이 있는데, AI도 이와 유사한 형태로 동작함

- AI 모델은 무작위성을 이해하지 못함(인간 또한 이해하지 못함) → 훈련 데이터에서 자주 나타나는 답변을 반복할 뿐 → 따라서, 인간이 자주 사용하는 숫자를 따라함

- AI 모델은 사람처럼 행동하도록 훈련되었기 때문에 인간적인 특성을 보이는 것처럼 느껴짐 → 이들은 사고하지 않으며, 인간의 데이터를 바탕으로 답변을 생성 = 이는 AI와의 상호작용에서 항상 유의해야 할 점


(2) Claude 모델 제공사 Anthropic, 전 OpenAI 안전 책임자 Jan Keike 채용

- Jan Like는 AI 안전성과 보안, 특히 "확장 가능한 감독," "약-강 일반화," "자동화된 얼라인먼트 연구"에 집중할 것이라고 발표

- Anthropic은 OpenAI보다 안전성에 더 집중하는 회사로 자리매김하려고 하는 듯함


(3) Apple Design Awards 후보자 목록, 빅테크 회사와 AI 챗봇 대부분 제외


(4) OpenAI, 새로운 AI 안전 관련 위원회 내부 인사들로 구성

- Sam Altman을 포함한 내부 인사들로 구성

- 외부 전문가(사이버 보안 전문가 Rob Joyce, 전 미국 법무부 관계자 John Carlin)를 고용하여 위원회의 작업을 지원할 계획, OpenAI는 AI 규제를 지지하면서도 규제 형성에 영향을 미치기 위해 로비 활동을 진행 중

- OpenAI는 외부인들이 거버넌스에 중요한 역할을 할 것이라고 약속했으나, 현재로서는 실현 가능성이 낮아 보인다는 분석


(5) LLM 모델이 웬만한 전문 애널리스트 만큼의 재무제표 분석 및 수익 방향 예측을 할 수 있다는 연구 발표

- 내러티브나 산업-specific 정보 없이도 LLM이 재무 분석가보다 수익 변화 예측 능력에서 뛰어남

- LLM은 의사 결정 과정에서 중요한 역할을 할 수 있음을 시사


(6) Apple, OpenAI와 계약 체결

- iOS 18에서 챗봇 기능 제공을 위해 OpenAI와 계약 체결, 6월 WWDC 개발자 행사에서 발표될 예정

- Apple은 Google의 Gemini도 옵션으로 제공하기 위한 협상을 진행 중


[TMI 서비스]


- Doly: 제품을 찍으면 3D AI 영상을 만들어주는 서비스 https://www.animl.ai/ 

- IKI AI: 개인 파일, 클라우드를 라이브러리화하여 정보를 종합 및 요약해주는 AI https://iki.ai/


[브런치 새글]


맥락 조사(Contextual Inquiry) https://brunch.co.kr/@uxn00b/163

맥락 기반 디자인(Contextual Design) https://brunch.co.kr/@uxn00b/164 


[뉴스 출처]

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4835311

https://techcrunch.com/2024/05/28/ai-models-have-favorite-numbers-because-they-think-theyre-people/

https://techcrunch.com/2024/05/28/anthropic-hires-former-openai-safety-lead-to-head-up-new-team/

https://techcrunch.com/2024/05/28/apples-design-awards-nominees-highlight-indies-and-startups-largely-ignore-ai-except-for-arc/

https://techcrunch.com/2024/05/28/openais-new-safety-committee-is-made-up-of-all-insiders/

작가의 이전글 맥락 기반 디자인(Contextual Design)
브런치는 최신 브라우저에 최적화 되어있습니다. IE chrome safari