달고나 81. LLM 왕국에서의 3년

3 Years in LLM Kingdom

작년 (2024) 이맘때 즈음에 ‘LLM 왕국에서의 2년’이란 글을 적었다. 이후 1년 동안 AI 씬에서 수많은 새로운 소식들이 전해졌는데, 작년 기준으로 어떤 변화가 있었는지를 정리하는 게 의미가 있어 보여서 글을 적는다. 그리고 회사를 퇴사하고 무직으로 지낸 지난 한 달 동안 몇몇 지인들을 만나고 사진 찍는 것만 했는데, 이제 나름 지적 활동을 재기하는 시발점이 되길 바란다.

1년 동안 많은 뉴스가 있었지만 크게 보면 작년에 정리한 것과 어쩌면 큰 차이점이 없지만, 한편으론 완전히 새로운 세상이 열리기도 했다. 기본적으로 작년에 적은 글을 참고하고, 변화를 중심으로 간단히 집어보려 한다. 아래는 작년에 정리했던 슬라이드를 1년 동안 간간히 업데이트한 거다. LLM 중심으로 정리한 것이어서 이미지나 비디오, 또는 피지컬 (로봇) AI 관련된 부분은 부실함을 미리 알린다.

2025년 버전 (아래의 24년도 버전과 비교 바람)

2024년 버전

AI 아키텍처의 방향성 측면에서 큰 변화는 없다. 멀티모달리티가 기본이 되었고, 모델을 더더욱 효율적으로 운영할 필요성은 더 커졌고, 다양한 분야로 확장되면서 인풋 콘텍스트의 길이는 더 길어지고 있다. 비전 AI에서 많이 활용하는 Diffusion 모델을 LLM에 적용해서 더 빠르게 결과를 얻는 시도들이 여럿 있었다. AI 모델을 단순히 활용하는 Prompting을 넘어서 Context Engineering으로 진화한 것도 주목할만하다. ChatGPT가 등장하면서 가장 빠르게 사람들에게 각광받았던 직업이 Prompt Engineering였는데, 모델의 성능이 발전하면서 Prompt의 중요성이 감소하며 Prompt Engineer 잡도 함께 급격히 사라졌다. 하지만 더 다양한 데이터를 구조적으로 활용할 필요성에 따라서 더 포괄적인 Context Engineering으로 진화했다.

지난 1년 동안 가장 큰 변화는 Reasoning (+ Deep Research)에 있다. 작년 말에 OpenAI에서 CoT 기반의 리즈닝 모델이 등장했고, 올해 초 중국의 DeepSeek에서 더 저렴하지만 비슷한 성능의 모델이 등장하면서 관심의 단계를 격상시켰다. 이와 함께 등장한 용어가 TTS (Test time scaling)이다. 작년까지는 모델 사이즈를 키우거나 학습 데이터의 질과 양을 늘림으로써 모델 성능을 끌어올렸는데, TTS는 같은 모델이지만 CoT를 비롯한 검색 Search, 추론 기술을 접목해서 모델 성능을 끌어올렸다. 혹자는 RL (Reinforcement Learning)의 시대로 접어들었다고 평하기도 했었다. 이와 함께 인간 수준의 자료 조사를 수행하는 Deep Research 기능이 등장해서 많은 보조 연구자들을 좌절시켰다.

많은 양질의 데이터의 중요성은 점점 더 커지고 있다. 인터넷 트래픽에서 봇이 차지하는 비율이 계속 높아지고 있어 인터넷 (데이터 제공)의 효율성을 위한 새로운 구조도 필요해 보인다. 데이터 확보 전쟁은 여전히 계속될 뿐 아니라, 인공 데이터 활용도 중요성이 더해가고 있다. 데이터 센터를 건립하는 투자의 규모가 더 커졌지만 Nvidia 의존성은 별로 줄어들지 않았다. 최근 구글 TPU가 살짝 흠집을 내긴 했다. 향후 1~2년 간의 투자 상황을 면밀히, 그리고 조심히 지켜볼 필요가 있다. 그리고 추석 이후로 AI 버블론이 많이 제기되고 있는데, 말했듯이 앞으로 1년 간의 투자 상황은 지켜볼 필요가 있다. AI로 돈을 제대로 버는 회사 또는 서비스가 등장하면 버블이 아니라 붐이겠으나 그런 해답을 내놓지 못하면 언제든 꺼질 수 있으니 혹시 투자자의 입장이라면 조심하고 스스로 결정하고 책임지기 바란다. 여담으로, 우주에 데이터센터를 짓자는 스타트업이 있는데, 개인적으로 저장을 위한 데이터센터가 아닌 학습을 위한 GPU 팜을 우주에 지으면 좋을 것 같다는 생각은 있다. 태양광으로 전력을 공급하고, 우주의 낮은 온도로 GPU를 식히고, 간헐적으로 학습된 모델 파라미터만 내려받으면 되는 점이 그냥 데이터센터보다는 가능성이 더 커 보인다. 물론 고장수리는 어렵다.

연초 세미나에서 2025년은 'Agent의 해'가 될 거라고 선언했었다. 나만의 과감한 지름이 아니라 누구나 그렇게 생각했을 거다. 그런데 상반기에는 추론 Reasoning과 Deep Research 관련 뉴스들만 도배돼서 아직 Agent는 멀었나 싶었으나, MCP를 비롯해서 Agent를 위한 각종 Protocol들이 정의, 등장하면서 다시 Agent에 관한 관심이 높아졌다. 사실 Deep Research도 Agent의 한 서브카테고리며, 강력한 reasoning이 보장되면서 실질적으로 동작하는 Agent들이 등장했다고 봐야 한다. 연구나 코딩을 넘어서 일상생활에서 눈에 띄는 Agent들이 더 많이 등장하면 Agent, 더 나아가 AI 자체에 대한 불암감 (버블론)도 줄어들 거라 기대한다. 그리고 여러 회사들이 제3의 브라우저 전쟁 (1. Netscape vs MS Explorere, 2. MS vs Chrome) 선전포고를 했는데, 구글 크롬의 반독점 이슈가 사라지면서 흐지부지 끝날 가능성도 있다. 어쨌든 브라우저는 일반인들의 일상에서의 AI 또는 Agent와의 접점을 제공하기 때문에 향후 브라우저가 어떻게 진화하느냐 따라서 (범용) AI의 미래도 결정될 거라 본다. 개인적으로 오랫동안 온라인 광고에 관여했는데 Agent 시대에도 온라인 광고가 여전히 유효할지를 매우 우려한다. 어떤 측면에서 광고가 없으면 인터넷 비즈니스 (최소 절반 이상)가 사라질 텐데 AI 시대의 광고의 미래도 기대보다는 우려된다.

2025년을 Agent의 해라고 강력하게 주장할 수는 없을지라도, 최소한 프로그래밍 (코딩) 분야에서 Vibe coding의 원년이라 말할 수 있다. 바이브 코딩의 등장으로 '코딩 후 문서화’ 프랙티스가 잘 정의된 스펙 문서 작성 후 AI 코딩이라는 패러다임이 바뀌고 있다. 그런 과정에서 Context Engineering이 등장했다. 이미 많은 개발자들이 AI를 업무 (코딩)에 잘 활용하고 있겠지만, 대기업에서도 개인 차원이 아니라 회사 차원에서 생성되는 모든 코드의 최소 50%는 AI로 개발하도록 업무 환경과 문화의 변화를 강력히 밀어붙여야 한다. 이를 상사나 동료에게 강력하게 어필하고 퇴사했어야 했는데라는 살짝 늦은 후회가 밀려오지만, 그들도 모두 똑똑하니 현재의 흐름을 잘 이해하고 있으리라고 생각한다. 팀장님, 부사장 승진 축하드립니다.

변화는 기대만큼 빠르지 않을 수도 있고 예상치 못한 시점에 이뤄지기도 한다. 몇 차례 큰 파도가 밀려왔지만 이제 시작일 뿐이다. 비록 지금이 버블이더라도 그 버블이 미래의 자양분이 될 거다.