2026.03.28
한참 개발을 하던 때.
머리에 구상은 이미 끝났는데, 라이브러리 찾아가며 코딩하고, 정합성 체크하고, 버그 잡고, 테스트하고, 지속적 구조 리팩토링하려니 갑갑한 마음이 든 적이 적지 않다.
입코딩 하고 싶다... 이렇게 만들어줘! 하면 누가 쫙 짜주면 참 좋을 텐데... 라며 훌륭한 개발자 A, B 등이 나의(?) 프로그래머면 참 좋을 텐데라는 생각이 종종 스쳤다.
작년을 거쳐, 올해. 이제 입코딩(vibe coding)의 시대가 와버렸다.
그런데 입코딩이 오자마자 바로 Agent의 시대가 함께 열리면서, 뭔가 고삐가 하나 더 풀린 느낌.
더 많은 일을 알아서 하도록 시키려니 당연히 더 많은 통제권을 주게 되는데,
문제는 내가 준 통제권이 이렇게 저렇게 펼쳐져 활용될 때, 최종 영향력이 어디까지인지 알기가 어렵다는 것.
작년, 조슈아 벤지오(딥러닝을 개척한 3대 대부 중 1인)는 자율 에이전트의 위험은, 악의적 사용자의 오용부터-인류의 통제력 상실까지, 되돌릴 수 없는 위험을 가져올 수 있음을 우려하며, agent 가 아닌 non-agentic 한 Scientist AI로 가야 한다고 주장했다.
Agent AI 가 "세계 안에서 행동한다 (acts in the world)" 라면, Scientist AI는 "관찰로부터 세계를 설명한다 (explains the world from observations)"는 개념이다. Scientist AI는 주체성을 의도적으로 제거한 시스템이다. 목표를 추구하거나 행동을 취하지 않으며, 대신 데이터에 대한 이론을 생성하고 질문에 답변한다.
지난달, 얀 르쿤(딥러닝을 개척한 3대 대부 중 또 1인)은 지금 AI 분야가 AGI(Artificial General Intelligence)를 향해 달려가고 있는데, 모호한 general을 쫓을 것이 아니라, Superhuman Adaptable Intelligence (SAI)로 가야 한다고 한다.
SAI는 인간이 할 수 있는 중요한 일에서는 인간을 초월하도록 학습하고, 인간이 할 수 없는 영역의 기술 공백을 채울 수 있는 시스템을 말한다. 인간의 특징인 '빠르게 배우고 적응하는(adaptable)'은 곁들여서...
둘 다, 인간이 해야 하는 일과 AI가 해야 하는 일을 구분해서 맡기자는 의미라고 생각한다.
AI가 못해서라기보다는 컨트롤/위험의 문제와 더 효과적인 방향을 생각할 때.
한편, 두 달 전, 앤트로픽은 새로운 Constitution을 발표하며, 앤트로픽이 모델을 어떻게 인간 사회와 맞춰가고 있는지 소개했다. (22년에 앤트로픽은 Constitutional AI를 발표하며 Reinforcement Learning from AI Feedback의 시대를 열었고, alignment에 가장 공들이는 회사로 평가되곤 한다.)
열흘 전, 구글은 지능이 단일체가 아닌 복수-사회적-관계적 경로로 발전한다고 주장하면서, 단일 초지능이 특이점을 초월하는 것이 아니라, 재귀적 에이전트 생태계가 지능의 폭발을 만드는 것이라고 얘기한다.
대규모 모델의 생각과정(CoT)을 관찰하면 우리가 그렇게 훈련하지 않았으나, 여러 주체가 서로 대화하며 사고의 깊이를 키워하는 것을 발견할 수 있고, 사회는 앞으로 인간의 사회가 그러했듯이, 인간과 Agent들이 상호작용하며 만들어갈 것이며, 함께 만들어가는 시대의 제도와 시스템이 필요하다는 내용이다.
그런데 그 제도와 시스템을, 누가 만드는가.
미키가 친 사고는 스승님이 와서 해결해 주었다.
하지만, 우리에게 문제를 해결해 줄 '요술쟁이'는 없다.