Weekly news on LLM - 5월 넷째주
제목: 구글, LLM 내부 살펴볼 수 있는 '모델 익스플로러' 공개
요약: 구글이 LLM의 내부를 탐색할 수 있도록 신경망을 시각화하는 도구를 공개했다. 이를 통해 블랙박스와 같은 AI 모델의 내부 동작을 이해하고, 디버깅하고, 최적화할 수 있는 도구 ‘Model Explorer’를 오픈소스로 출시했다. 를 위해서는 정확한 그래프 시각화 도구가 필수적이다. 크고 복잡한 모델을 분석하기 위해서 시각화를 통해 모델 내부에서 데이터가 이동하는 방식과 구성 요소들이 상호 작용하는 방식을 명확하게 묘사, 모델을 만드는 과정에서 문제를 디버그하고 아키텍처를 최적화할 수 있다. 예를 들어 수많은 컨벌루션 레이어가 있는 대규모 이미지 인식 모델에서 정확한 시각화 도구를 사용하면, 각 레이어가 이미지에서 특징을 단계별로 추출하는 방법을 확인할 수 있어 특정 레이어가 중요한 세부 정보를 흐리게 하거나 분류 오류를 범할 수 있는지 식별하는 데 도움이 된다. 모델 익스플로러는 그래픽 렌더링 기술을 활용해 LLM을 원활하게 시각화하는 동시에, 구조 탐색을 위한 인터페이스를 제공한다. 사용자가 최첨단 LLM 및 확산 네트워크와 같이 복잡한 신경망도 원활하게 탐색할 수 있도록 하는 계층적 접근 방식을 활용해 모델 작업을 중첩된 레이어로 구성한다. 이 계층 구조를 통해 사용자는 레이어를 확장하거나 축소할 수 있기 때문에 모델의 특정 부분을 집중적으로 분석할 수 있다.
https://www.aitimes.com/news/articleView.html?idxno=159794
제목: 'AI 블랙박스' 첫 해독 성공…"AI 그럴싸한 거짓말 줄일 수 있다"
요약: 앤스로픽은 21일 LLM이 작동하는 원리의 실마리를 찾았다는 내용을 담은 ‘LLM의 마인드 매핑’이란 제목의 연구를 자사 홈페이지에 공개했다.앤스로픽의 이번 연구 결과는 인간이 그동안 알 수 없었던 AI의 사고 과정, 즉 작동 원리 일부를 파악했다는 데 의미가 있다. 인간으로 비유하자면, AI의 ‘뇌 지도’ 일부를 파악한 셈이다. 앤스로픽은 자사 LLM 중 하나인 클로드 소넷의 수백만 개의 개념이 어떻게 표현되는지 확인했다고 밝혔다. 이를 설명하기 위해 앤스로픽은 ‘딕셔너리 러닝(dictionary learning)’이란 기법을 통해 자사 LLM인 클로드 소넷 내부에서 수백만 개의 ‘feature’을 추출해 개념화한 지도를 만들었다. 구체적으로 ‘Golden Bridge’라는 단어를 언급할 때 LLM 내부에서는 한국어 ‘금문교’나 ‘캘리포니아’ ‘현수교’ ‘샌프란시스코’ 등의 연관 단어나 단어의 일부가 활성화된다. AI 모델 내부 작동방식이 인간처럼 유사한 개념을 통해 해당 단어의 의미를 추론하는 것과 비슷한 면을 보여준다는 것이다. 주목할 점은 앤스로픽이 AI 내부 특정한 특징을 인위적으로 키우거나 억제해 AI의 생성 결과를 바꿀 수 있다고 밝힌 점이다. 클로드에 “네 물리적 모양은 뭔가”라고 물으면 “나는 물리적 형태가 없는 AI 모델”이라고 답을 한다. 하지만 기술적으로 ‘Golden Gate Bridge’에 대한 편향을 키우면 “난 금문교다. 나의 물리적 형태는 상징적인 다리 그 자체”라고 답하는 식이다. 앤스로픽은 사기성 이메일을 써달라고 요청하면 거부하던 클로드 내부의 특정한 특징을 조작하면 사기 이메일 초안을 작성하도록 개입할 수 있다고도 밝혔다. 아울러 클로드에 ‘네 지혜는 의심할 여지가 없다’는 칭찬이 포함된 명령어를 입력하면 AI 내부의 아부와 칭찬과 관련한 특징이 활성화된다는 점도 발견했다. 전문가들은 이번 연구가 안전한 AI개발 차원에서 의미가 있다고 평가한다. LLM 내부 특징을 키우거나 억제해 AI가 생성해내는 값을 바꿀 수 있다는 차원에서다. 특히 이번 발표는 최근 오픈AI가 GPT-4o 공개 이후 안전 기술을 담당하던 superalignment팀을 해체한 가운데 나와 업계의 주목을 받고 있다.
https://www.joongang.co.kr/article/25251241
제목: "구글·오픈AI 게 섰거라"…아마존, 알렉사에 생성형 AI 추가
요약: 아마존이 올해 연말 음성 비서인 '알렉사'에 생성형 인공지능(AI)을 탑재해 폭넓은 대화 능력을 부여할 전망이다. 아마존은 이번 업그레이드 때 자체 LLM '타이탄'을 알렉사에 탑재할 방침이다. 이를 통해 오픈AI의 'GPT-4o'와 애플 '시리' 등 AI 음성 서비스와 맞붙는다. 현재 업그레이드 버전 논의는 비공개로 진행 중이다. 알렉사 사용자는 별도 요금을 내고 새로운 AI 기능을 이용할 수 있다. 요금은 미정이다. 다만 아마존 프라임 회원 연간 구독료인 139달러에 포함되진 않는다.
https://zdnet.co.kr/view/?no=20240523074442
제목: 잭 클라크 앤트로픽 공동창업자 “클로드 한국어 이해력 키울 것”
요약: 잭 클라크 앤트로픽 공동창업자는 자사 LLM의 한국어 성능 향상을 포함해 한국과의 AI 파트너십을 지속 강화하겠다고 밝혔다. 클라크는“자체 LLM 클로드3와 관련한 파트너십을 구축하고 있으며 조만간 더 많은 것을 공유할 수 있기를 기대한다”고 답했다. 그는 “클로드의 한국어 성능을 향상하는 방법을 더 잘 이해하고자 노력 중”이라며 “이를 위해 우리가 할 수 있는 테스트 방법을 찾고 있다”고 말했다. 이와 관련해 앤트로픽은 SK텔레콤과 한국어 특화 모델 개발에 협력 중이다. 앤트로픽은 오픈AI의 ‘GPT’ 모델 성능에 버금가는 클로드 시리즈를 개발한 기업이다. 국내에서는 SK텔레콤에게 1억 달러를 투자받으며 양사 간 협력이 진행 중이다.
https://www.sedaily.com/NewsView/2D9AD7LTIR
제목: 인터넷에 퍼지는 '새우 예수'...AI만 가득한 '죽은 인터넷' 이론 떠올라
요약: SNS에 별 의미도 없는 AI 생성 이미지가 꾸준히 등장, 인기를 얻고 있다. 이 때문에 인터넷에 AI 생성 콘텐츠가 사람이 만든 콘텐츠를 밀어낼 것이라는 'dead internet' 이론이 힘을 얻고 있다. 더 컨버세이션은 20일 AI가 사실상 웹을 운영하는 죽은 인터넷 이론을 소개하며, '새우 예수(shrimp Jesus)'라는 이미지를 대표적인 예로 내세웠다. 이에 따르면 페이스북이나 인스타그램에는 얼마 전부터 새우와 예수를 합성한 이미지가 잇달아 올라오고 있다. 올린 사람도 확실하지 않고, 내용을 설명하는 글도 없다. 이미지를 올리는 이유도 알려지지 않았다. 전문가들은 이를 죽은 인터넷과 연결하고 있다. 이는 SNS를 포함한 인터넷 활동과 콘텐츠가 주로 AI 에이전트에 의해 자동화, 최후에는 인간의 활동을 더 이상 보기 어렵게 된다는 주장이다. 일부 보고에 따르면 2022년 전체 인터넷 트래픽의 거의 절반이 봇에 의해 발생한 것으로 나타났다. 챗GPT나 제미나이 등 생성 AI의 발전으로 가짜 콘텐츠의 품질은 계속 향상될 것으로 봤다. 이런 현상은 인터넷과 SNS에서 생각을 공유할 수 있는 우리의 자유를 박탈하는 것으로 봤다. 비판적인 시선과 회의적인 마음으로 SNS나 인터넷을 탐색해야 한다는 점도 상기한다고 지적했다.
https://www.aitimes.com/news/articleView.html?idxno=159830
제목: "최적의 프롬프트 단어 수는 21개"...구글, 프롬프트 비결 담은 가이드북 발간
요약: 구글은 개발자 I/O에서 45페이지짜리 워크스페이스용 제미나이 프롬프트 가이드라는 소책자를 배포했다. "우리가 워크스페이스 연구소 프로그램을 통해 배운 내용 중 하나는 가장 성공적인 프롬프트가 평균 21단어에서 발생했다는 점"이라며 "하지만 사람들은 너무 짧은 프롬프트를 사용한다. 일반적으로 9단어 미만"이라고 밝혔다.
이중 지메일이나 구글 독스에서 효과적으로 프롬프트를 작성하기 위해 ▲페르소나 ▲작업 ▲문맥 ▲형식 등 4가지 사항을 포함해야 한다고 설명했다. 그 예로 든 문장은 다음과 같다. "당신은 구글 클라우드 프로그램 관리자다(페르소나 항목). 관련 문서의 세부 사항을 기반으로(문맥) OO에게 보낼 요약 이메일 초안을 작성하라(작업). 각 문장에는 글머리 기호를 붙인다(형식)." 한편, 제미나이 워크스페이스에서 도움이 되는 팁 4가지도 공개했다. 첫째는 자연어를 사용, 마치 사람에게 말하는 것처럼 프롬프트를 작성하라고 조언했다. 완전한 문장으로 생각을 모두 표현하라고 전했다. 두번째는 구체적이고 반복적으로 메시지를 전달하라는 내용이다. 제미나이에게 요약을 부탁하는 것인지, 글 작성인지, 글 수정인지는 물론 생성할 글의 톤 등 가능한 많은 맥락을 제공하라고 밝혔다. 세번째는 문장 하나에 여러 문장을 포함하지 말고, 최대한 간결하라는 것이다. 대신 전하는 바를 구체적인 언어로 기술하고 전했다. 전문 용어는 가급적 피하는 것이 좋다고 덧붙였다. 마지막은 프롬프트가 효과적이지 못할 경우 세부 내용을 조금씩 조정하며 결과를 개선하라는 것이다. 즉 프롬프트에도 노력이 필요하다는 말이다.
https://www.aitimes.com/news/articleView.html?idxno=159796
제목: 메타 AI책임자 "LLM, 인간의 추론·계획 능력에 도달 못할 것"
요약: 메타의 AI 수석 과학자인 얀 르쿤은 23일자 파이낸셜타임스(FT) 인터뷰에서 LLM은 결코 인간처럼 추론하고 계획하는 능력을 달성하지 못할 것이라며 이같이 말했다.이에 따라 기계 장치들에서 "초지능"(superintelligence)을 만들어 내기 위한 급진적인 방식의 대안에 집중하고 있다고 전했다. 그는 LLM에 대해 "논리에 대한 이해가 매우 제한적"이라며 "물리적 세계를 이해 못 하고 지속적인 기억력이 없으며, 용어에 관한 합리적 정의를 추론할 수도, 계층적으로(hierarchically) 계획할 수도 없다"고 전했다. 그는 고급 LLM에 의존해 인간 수준의 지능을 만드는 것에 반대한다며, 이러한 모델들은 올바른 학습 데이터가 제공돼야 정확하게 응답할 수 있어 본질적으로 안전하지 않다고 설명했다. 대신, 인간 수준의 지능을 갖춘 기계들을 구동할 완전히 새로운 세대의 AI 시스템 개발에 힘쓰고 있다며, 이런 비전을 달성하는 데는 10년이 걸릴 수 있다고 말했다. 그러나 르쿤은 LLM의 진화는 피상적이고 제한적이라며, AI가 사람처럼 유기적으로 결론을 내리는 것이 아니라 인간 엔지니어들이 해당 정보에 대해 교육하기 위해 개입할 때만 모델을 학습한다고 말했다. 대부분의 사람에게는 확실히 추론으로 보이나 대체로 많은 학습 데이터에서 축적된 지식을 활용하는 것이라면서, 한계에도 불구하고 LLM은 매우 유용하다고 덧붙였다.
https://www.yna.co.kr/view/AKR20240523128100009?input=1195m
