Meta Reflection
'경계를 넘어', 우리를 연결하는 AI
* 이 글은 AI 전문 뉴스레터 '튜링 포스트 코리아'에 기고한 글의 일부입니다. AI 기술, 스타트업, 산업과 사회에 대한 이야기에 관심이 있으시면 '튜링 포스트 코리아' 구독해 주세요.
이번 주에 저는 몇 가지 일로 인도네시아의 자카르타에 와 있는데요. 어디가 되었든, 어떤 이유로 왔든, 저는 가급적 여행지나 출장지에서 시간을 내서 야시장에 들르는 걸 좋아합니다. 야시장의 거리 음식들을 맛보는 것도 좋아하고, 북적북적한 분위기 자체를 좋아하기도 하구요.
사실 자카르타에는 생각보다 다른 동남아시아 국가들에서 흔히 볼 수 있는 분위기의 ‘야시장’은 찾기가 어렵다고 생각했는데, 마침 머무는 숙소 근처의 쇼핑몰 옆에 ‘음식 페스티벌’ 분위기의 야외 장터가 있길래 들러봤습니다.
이런저런 음식들도 구경하고 사 먹어보기도 하는 와중에, 우연히, 최근에 이야기를 나눈 사람을 마주치고 반갑게 시간을 보내게 됐습니다. 자카르타 출신으로 지금은 싱가폴의 AI Singapore라는 조직에서 ‘동남아 국가들의 소버린 AI 프로젝트’를 이끌면서 자체적으로 LLM을 구축하고 있는 디렉터인데요. Zoom 콜도 여러 차례 했고 직접 대면으로 만나서 이야기를 나눠 보려고 꽤 애써왔지만 미팅이 성사되지 않았다가, 이렇게 우연히 전혀 예상치 못한 장소에서 만나게 되니, 정말 반갑기도 하고 신기하다는 생각이 들었어요.
길거리 테이블에 앉아서 개인적인 이야기, 그리고 AI 관련한 이야기도 한참 하고, 다음에 만날 것을 기약하면서 일어나 뒤돌아서 오는데, “야 이게 진짜 ‘메타’다 - 메타 (Meta)는 아시다시피 ‘Beyond’라는 의미의 그리스어죠 - 라는 생각이 들었습니다. ‘삶’이라는 놈이 저를 쭉 쳐다보고 있다가, 어느 순간 저하고 눈이 딱 마주치면서 윙크를 하는 느낌이랄까? 전에도 이런 느낌을, 도쿄 다이칸야마에서 살짝 지쳐서 카페에 앉아 커피를 마시고 있는데, 제 바로 앞으로 무라카미 하루키가 장을 봤는지 양손에 비밀봉지들을 들고 걸어가는 걸 봤을 때, 그 때 한 번 느꼈거든요.
이런 순간에는, 항상 제 생각이나 이해의 범위, 그리고 일상의 기대를 ‘넘어서는’ 누군가 나를 보고 있나 생각이 들면서, 또 다른 한 편으로는 ‘AI라는게 이렇게 예기치 않은 즐거운 만남을 만들어주는구나’ 싶기도 했습니다.
이런 개인적이면서도 인상적인 ‘메타적’ 경험과는 크게 관련이 없다고 할 수 있겠지만 (^.^), 역시 이번 주에 있었던 AI 씬의 ‘메타적’인 일들 몇 가지에 대한 생각을 금주의 FOD에서 공유할까 합니다:
메타 (Meta), ‘메타’라는 개념 자체를 받아들이고 모든 사업에 체화한다
메타 (舊 페이스북)는 ‘메타’라는 개념 자체를 받아들이는 과정에 있는 걸로 보입니다 - 무슨 말인가 하면, AI를 발전시키는 것에 국한되지 않고, AI를 연구하는 작업을 어떻게 협업하면서, 개방적으로도, 또 스스로 개선해 나가면서 할 수 있는지를 직접 보여주는 생태계를 구축하고 있습니다. 메타의 10월 10일 ‘AI 미디어 브리핑’을 보면, ‘개방적인 생태계에서 과학적 연구’를 진행하고, 타 연구자들이나 기관과 함께 연구의 ‘재현성’에 중점을 두는지가 잘 드러나 있습니다.
브리핑을 통해서 확인할 수 있는 주요 내용을 살펴보면, 우선은 이미지, 그리고 비디오 세그먼테이션 모델의 새로운 업데이트, ‘Meta Segment Anything 2.1 (SAM 2.1)’을 출시했습니다. 이 새로운 업데이트는 트레이닝 코드와 웹 데모를 포함해서 새로운 개발자 도구를 제공하는데, 메타가 더 커뮤니티의 협력을 구해나가고 커뮤니티의 접근성을 강조하고 있다는 걸 보여주는 신호가 아닌가 합니다.
또, 텍스트 및 음성을 자연스럽게 통합하고, 다양한 모달리티에서 표현력을 향상시키는 첫 오픈소스 언어모델, Spirit LM을 소개했습니다. 더불어, 특별한 하드웨어 없이도 거대 언어모델 효율성을 높일 수 있는 Layer Skip Framework을 공개했는데, 이 프레임웍으로 더 빠르고 자원을 효율적으로 사용하면서 모델을 배포할 수 있게 되었습니다.
암호화 분야에서는, 포스트 양자 암호화 표준의 검증 도구, SALSA를 출시, 미래 기술에 대한 보안에 집중하고 있는 모습을 보여줬고, 효율적인 언어모델 트레이닝을 위한 경량화 코드베이스 Meta Lingua, 무기물 소재의 발견을 가속화하는데 도움을 줄 오픈소스 데이터셋 Meta Open Materials 2024도 소개했습니다.
마지막으로, 교차 언어 (Cross-Lingual) 문장 인코더인 MEXMA, 리워드 모델 트레이닝을 위한 합성 선호도 데이터 생성 도구 Self-Taught Evaluator (원본 논문은 2024년 8월에 발표)도 공개, 메타가 연구 역량 뿐 아니라 AI 평가법 발전에도 의지를 가지고 있다는 걸 확인시켜 주었습니다.
이전에 제가 다른 글을 통해서, ‘메타가 오픈소스의 의미를 자사의 입맛에 맞게 곡해하고 있다’는 비판을 한 적이 있는데요. 그 비판은 비판대로 유지하더라도, 점점 더 ‘메타’라는 사명에 맞게, AI 모델의 성능을 ‘넘어서’, 그 ‘이면’을 받치고 있는 연구 개발의 생태계를 키우고 현장에서 활용할 수 있도록 하는 많은 메커니즘에 대해서 함께 고민하고 있다는 점만은 부정할 수 없을 듯 합니다.
Neural Metamorphosis (NeuMeta) 논문, 기존 신경망에 대한 새로운 ‘메타’
NeuMeta 논문은, 재학습이 없이도 그 내부 구조를 다이나믹하게 조정할 수 있는, ‘자가 변형’이 가능한 새로운 아키텍처로, 신경망을 바라보는 혁신적인 접근방법을 소개하는 논문입니다. 이런 ‘메타적 사고’를 바탕으로, 전통적으로 많이 다뤄져 온 정적인 모델을 넘어서서, 하드웨어나 작업의 요구사항에 따라 네트워크가 유연하게 크기를 조정하고 적응할 수 있게 하는 연속적인 ‘가중치 매니폴드’를 탐구하고, 본질적으로 외부의 조건에 따라 스스로의 정체성과 성격을 재구성합니다.
이 논문의 방향은, 개인적으로 아주 중요한 ‘진화의 방향’을 가리키고 있다고 생각합니다. NeuMeta는 신경망을 ‘자기 성찰과 변화가 가능한 실체'로 다루는데, 이는 ‘시스템을 재평가하고 적응하는 개념’에 대한 완벽한 메타라고 봅니다. INR (Implicit Neural Representation)을 하이퍼네트워크로 활용해서, 앞서 이야기한 다이나믹한 변환을 가능하게 하면서도 네트워크의 구성에 크게 상관없이 원활한 성능을 보장합니다. 75%이 압축률에서도 성능을 유지하는 모습을 보여주고, 기존의 Pruning 기법을 능가하는, 유연하고 확장 가능한 AI의 새로운 시대를 여는 기반이 될 수 있습니다.
튜링 포스트 코리아에서 ‘AI 에이전트’ 섹션을 통해서 에이전트에 대한 에피소드들을 계속 공유드리고 있는데, NeuMeta의 접근 방식이, 고도화된 에이전틱 워크플로우의 핵심 기능, ‘스스로의 능력과 자원을 유동적으로 조정할 수 있는’ 에이전트를 개발하는데 강력한 아군이 될 수도 있을 것 같습니다 - 신경망 아키텍처가 이렇게 유연해진다면, 실제의 환경에서 AI 에이전트의 효율성과 적응성이 대폭 향상될 테니까요.
다시, 이야기를 처음으로 돌려서: 우리가 AI와 그 복잡성을 탐구하는 동안, 이 기술이 우리 - 를 포함한, 이 기술 뒤에 있는 모두 - 의 삶에 어떤 영향을 끼치고 새로운 인연을 만들어내는지, 어떻게 도움이 되는지를 잊지 말아야 할 것 같습니다. AI가 일견 추상적으로 보일 수 있지만, 이런 ‘예상치 못한 연결’의 순간들이 바로 ‘AI도 결국 우리의 삶을 풍요롭게 하고, 공동체를 연결하고, 먼 다른 나라의 야시장에서 국수를 먹다가 예상치 못한 만남을 가지게 해 주는 도구’라는 걸 상기시켜 주네요.
