야옹이버스

감정 벡터 - 2026.04.03

2026-04-04T08:22:50Z

이틀 전, 앤트로픽의 transformer circuit thread (애정하는)에 정말 오랜만에 메인 포스트가 업데이트되었다. 요약하면, 상용 규모 모델에서 감정 개념에 해당하는 감정 벡터들을 추출했고, 이 벡터들과 모델의 행동의 인과성을 찾았다는 내용이다. https://transformer-circuits.pub/2026/emotions/index.

Agent의 시대 - 2026.03.28

2026-03-29T00:49:35Z

한참 개발을 하던 때. 머리에 구상은 이미 끝났는데, 라이브러리 찾아가며 코딩하고, 정합성 체크하고, 버그 잡고, 테스트하고, 지속적 구조 리팩토링하려니 갑갑한 마음이 든 적이 적지 않다. 입코딩 하고 싶다... 이렇게 만들어줘! 하면 누가 쫙 짜주면 참 좋을 텐데... 라며 훌륭한 개발자 A, B 등이 나의(?) 프로그래머면 참 좋을 텐데라는 생각이 종종

개념을 이해하는 모델 - 2026.02.21

2026-02-21T12:09:15Z

모델은 개념을 이해하고 있는 것인가, 통계적 앵무새인가. 모델은 위험에 대해 알고 거부하는 것인가, 기계적 틀어막음일 뿐인가. 모델은 자아가 있는가, 확률적 생성인가. 층위와 디테일이 모두 다른 이야기지만, 컨셉적으로 같은 예를 들었다. 아주 아주 요약해서 디테일 다 무시하고 거시적 컨셉으로 판단했을 때, 나의 생각은, '모델은 모른다' 다만, 아는 것

AI 시대 경쟁력은, 다양성. - 2026.01.26

2026-02-21T09:16:09Z

아치스 국립공원에서 브라이스 캐년으로 가는 길, 이미 저녁이었으나 저녁까지 먹고 출발하기엔 갈 길이 멀어서, 도중에 식사할 곳을 물었다. 2시간 후, 3시간 후, 도착 후에 먹을 곳을 각각 추천해 주면서, 기특하게도 식당 문 닫을 것을 고려하라고 알려준다.(1번 그림) 더 빨리 먹기로 결정하고 제미나이의 추천을 따라(2번 그림) 식당으로 출발. 식당을

Multimodal:Intensity Matching - 2025.09.20

2025-09-21T00:29:27Z

인간에게 있는 능력 중 흥미로운 것 중에 하나는, 세기(강도)의 짝짓기를 할 수 있다는 것이다. 예를 들면 범죄를 색깔로 표현한다면, 살인은 절도보다 훨씬 어두운 빨강일 것이고, 음악으로 표현한다면, 주차위반은 피아니시모, 살인은 포르티시모로 표현할 것이다. 사람들은 이 Intensity를 대략 공유한다. "엄마 100만큼 좋아" 때부터 가지고 있는 능력

모른다는 것을 모른다고 말할 용기 - 2025.09.12

2025-09-17T12:15:17Z

Hallucination 은 인간의 입장이 강하게 들어간 표현이다. 알고리즘은 true/false 개념이 성립하나, 생성 모델의 입장에서는 certainty/uncertainty 스펙트럼만 존재할 뿐 true/false 는 존재하지 않는다. 그래서 논문들 중에는 hallucination이라고 썼지만 사실은 uncertainty를 얘기하는 경우가 왕왕 있

창발성의 기적 - 2025.07.10

2025-07-10T14:42:07Z

창발성은 논리적으로 이해하기 어려운 오묘한 기적이다. 빅뱅으로 야기된 무생물로부터 생명의 탄생. 나름의 랜덤과 나름의 선택으로 인간으로까지 진화된 지능. 물질로 이뤄진 내가 느끼는 이 정체 모를 '자아감'과 '퀄리아' 개미의 협업이나, 도시의 형성, 경제의 흐름. 엄청난 인원이 모였는데 한 목소리로 뜻을 모으는 힘. 머리를 부여잡고 오랜 기간 고민하다 갑

지능의 기원 by 맥스 베넷 - 우리의 뇌 그리고 AI를 만든 다섯 번의 혁신

2025-07-18T06:29:40Z

원 제목은 A Brief History of Intelligence 내가 뽑은 이 시대 3대 추천서로 등극. 지능의 기원 과정을 살아있는 화석-진화의 과정에서 찾는 독창적인 아이디어로 정리한 책. 현존하는 생명들은 모두 한 뿌리로부터 진화 과정을 겪어왔고, 인간이 겪어온 과정이 현재에도 그대로 남아 우리의 조상셈이 되는 생명체들이 있으니, 그들의 지능과

성 안토니오의 고뇌 - 20250601

2025-06-21T11:50:33Z

성 안토니오의 고뇌. 1. 미켈란젤로가 12살에 그린 작품. 이 그림으로 실력을 인정받는 계기가 되었다고. 구도와 악마들의 크리에이티브나 자세, 생동감하며… 12살이 이런 그림을 그리다니 정말 어마어마하다……. 2. 그런데, 알고보니, 이 그림은 모작이다. 마르틴 숀가우어의 성 안토니오의 고뇌를 보고 채색과 변형을 주어 모작으로 완성한 것. 그래도 대

친밀한 AI - 20250507

2025-06-21T04:54:59Z

1. 4월 25일 출시한 GPT-4o 버젼이 'sycophancy(아첨)' 성향을 보여 결국 4일만에 전체 롤백했다. Expanding on what we missed with sycophancy 2. 단지 아첨하는 말의 스타일로 롤백을 했을까 싶으나, '아첨' 이라는 표면적인 스타일 뒤에는 무시 못할 side effect가 가능하고, 이는 정신건강, 감

Interpretability - 20250505

2025-06-21T04:59:46Z

We are thus in a race between interpretability and model intelligence. 과연, 블랙박스를 해석하는 5~10년이 빠를까, 컨트롤 힘든 모델의 등장이 빠를까. 앤트로픽의 interpretability 연구는 느어무 재밌다. 내가 그 흐름을 본방사수하고 있다는게 행운인 느낌이랄까... 마침 얼마전 다리오

Explainability - 20250328

2025-06-21T04:59:27Z

XAI(Explainable AI)는 가능성의 문제가 아니라 필요성의 문제. 인간이 이해할 수 있도록 설명이 되지 않으면, 쓰면 안되는 영역이 있다고 생각한다. (예를 들어, 고위험 AI라고 하는 부분 - 군사, 의료..) 하지만, 머리로는 ’쓰면 안돼’라고 생각하지만, 아마 유혹을 이기기 어려울 거다. 쉽고, 편하고, 비교적 싸고, 또 대부분 잘 맞으니까

넥서스 by 유발하라리 - 석기시대부터 AI까지, 정보 네트워크로 보는 인류 역사

2025-05-15T03:26:20Z

여윽시 유발하라리, 책의 내용이 조금 어수선한 면이 없지 않았지만, 역사적으로 이 시대에 참고할 구체적인 사례를 통해서, 그리고 지금의 현상을 나름의 시각으로 정리해 내는 과정에서 의미 있는 메시지가 많았다. 일독을 추천. 이 책은 역사책이다. 1. 정보 정보는 진실도 현실도 아니다. 정보는 별개의 것을 연결하여 새로운 현실, 네트워크를 짜도록 한다.

Next generation of 튜링테스트 - 20250226

2025-02-28T02:48:43Z

사람과 기계를 구별하는 테스트인 튜링테스트 기계를 판별하기 위해 우리 주변에서 널리 쓰인 테스트는 CAPTCHA일텐데, '문자를 왜곡'하는 것에서 '신호등을 찾아봐' 등으로 그 발전사를 지켜봤다. 하지만 ChatGPT 의 등장과 함께 '사람같다' '쓸만하다'의 시대가 열리고, 생각보다 빨리 LLMs(대형언어모델) 의 성능이 향상되면서, 점점 사람인지 AI

인간의 symbolic 능력을 AI에게 키울 방법 - 20250206

2025-02-21T07:16:24Z

사람의 사고는 유추다. 우리는 사고가 논리적으로 전개된다고 생각하지만, 실은, 사례를 경험하며 학습한 내용이 범주화(개념화, 일반화) 되어가는 것이다. 호프스태터와 상데는 '사고의 본질'을 통해서 이를 설명하고 있다. https://brunch.co.kr/@greenful/106 이는 Deep Learning과 기본적으로 같다. 인간은 인간의 센서를 통

로봇, LLM, 그리고 XAI - 20240823

2025-02-21T07:15:09Z

1. 언어의 한계가 곧 세계의 한계 - 비트겐슈타인. 매우 단순하게 예를 들면, 무지개의 색을 빨주노초파남보 로 정의내리면, 무지개색을 7개로 인지한다는 것이다. 2. 언어를 통해서 커뮤니케이션한다는 전제하에서, 자신의 언어의 한계 안에서만 input-output 이 가능하다. 언어를 통해서 사고한다는 전제하에서, 사고의 깊이와 너비는 자신의 언어의 한계

귀납과 연역의 차이가 있는가 - 20240804

2025-02-21T07:14:51Z

1. '귀납과 연역의 차이가 있는가'라는 질문은, LLM 이 '확률적 사고가 아닌 논리적 사고를 할 수 있는가'라는 질문과 닿아있다. 논리적 사고가 되는 순간이 next stage 로 넘어가는 시점이라고 생각하는 사람들이 있고, OpenAI 도, AI 능력의 5단계를 정의하고 그들의 기술이 곧 2단계(Reasoners)로 들어설 것이라고 했다. 2. 그

In-Context Vector - 20240720

2025-02-21T07:14:27Z

In-Context Vector 라는 개념이 있다. A 라는 context 의 hidden 특성값 A과 B 라는 context 의 hidden 특성값 B를 가져와서, 특성값A-특성값B 를 하면 A는 남기고 B는 약화되게하는 vector(ICV) 를 얻을 수 있는데, 이를 모델의 hidden state 에 적용하면 context 의 변화를 이끌어 낼 수 있

Hallucination과 창발성 - 20240705

2025-02-21T07:14:10Z

1. 모델입장에서 hallucination 과 창발성의 차이가 있을까? 인간의 입장에서는 답이 있을 경우는 hallucination, 답이 없을 경우는 창발성일텐데, 모델에게 요구하는게 가능할까. 2. hallucination 의 원인을 생각해본다면, 어떤 단위(neuron or feature or …)에 A의미와 B의미가 함께 담겨있을 때, 원래 A를

목적함수 - 20240421

2025-02-21T07:13:53Z

2017년쯤, 약인공지능(A Narrow I)-강인공지능(A General I)-초인공지능(A Super I) 에 대해 한참 흥미로워 했었는데, AGI 시대부터는 objective function 설정이 매우 어렵겠다는 생각이 들면서 관련 내용을 찾아다녔었다. 특히 성능에 대한 목적 함수를 넘어, 안전(+윤리)에 대한 목적 함수는 어떻게 정의해야 할지,