캐나다에서 전하는 AI의 지금
NeurIPS 2024 방문기(현재 진행 중)
안녕하세요 여러분, 카카오벤처스 김영무 심사역입니다.
<제로가 직접 말아주는 딥테크 이야기> 이후 오랜만에 소식을 전하게 되는 것 같네요.
오랜만에 저는 색다른 이곳, 캐나다에서 인사를 드리게 되었습니다.
크리스마스 분위기 가득한 캐나다오..휴가 가신 건가요?
아니요, 아쉽게도 휴가는 아닙니다.
사실 캐나다에 어쩌다가 VC가 출장을 갔을까 많은 궁금증이 들 것 같은데요,
저는 지금 캐나다 밴쿠버에서 진행되고 있는 NeurIPS 2024에 참석하러 와있습니다.
NeurIPS 2024 in VancouverNeurIPS(뉴립스, NIPS)는 ICML, ICLR과 더불어 흔히 말하는 AI 3대 학회 중 하나로, 가장 큰 규모를 자랑하고 있습니다.
처음 200~300명 수준으로 작게 시작한 컨퍼런스가 AI 시대가 열리면서 현재 1.5만 명 정도의 인원이 참석하는 초대형 컨퍼런스로 발전하게 되었습니다.
이번 뉴립스 역시 많은 참가자들이 지원함에 따라 speaker들을 제외한 일반 참가자들은 lottery로 registration을 받게 되었습니다.
끝없이 이어지는 registration 대기줄참석자들을 선별했음에도 불구하고 Day 1부터의 등록 줄은 밴쿠버 컨벤션 센터를 휘감을 만큼 엄청나게 긴 줄이 이어졌는데요. 이렇게 많은 분들이 모였는데 전부 Google, OpenAI, Meta, Apple, Amazon, Tesla, Ant Group, ByteDance와 같은 글로벌 빅테크들 뿐만 아니라 MIT, Stanford, UCB, CMU 등 CS에서 탑티어 Group 출신이라는 것이 신기할 따름이었습니다.
빅테크들 뿐만 아니라 Mistral, Neptune.ai, Cohere, Akash 등 눈부시게 빛나는 성장을 하고 있는 스타트업들 역시 많은 참여를 하고 있었습니다.
계속해서 올라오는 오늘의 일정초대형 컨퍼런스이기 때문에 Day 1의 이른 아침부터 스케쥴은 아주 꽉꽉 채워진 채로 시작되었습니다.
보통 7~8개의 Session들이 계속해서 동시에 진행되고, poster 역시 spotlight만 올해 400여 개나 됩니다. Accept 된 논문 수는 4,000여 개나 달하죠.
Workshop을 포함하여 5박 6일 간 진행되는 행사 속에 모든 일정을 소화하기 어렵기 때문에, 미리 관심 있는 영역을 확인하여 선택해서 들어야 하는 것은 어쩔 수 없는 부분입니다.
Waymo : AI for Autonomous Driving at ScaleDay 1은 Waymo, Qualcomm, AI2 등에서 Talk panel session 위주로 진행이 되었습니다.
여러 기업들에서 본인들이 속한 industry 내에서 어떻게 AI를 활용하고 있고 어떻게 발전시키고 있는지에 대한 이야기가 주로 나왔는데요.
빅테크들의 AI 연구 방향성이나 AI를 활용했던 Best practice들과 Limitation들을 직접 들을 수 있었던 시간이라 너무 재미있었습니다.
Meta의 초거대 부스에서 나오는 위용다른 층에서는 기업들의 Expo 전시가 진행되고 있었습니다.
Meta, Apple, MS, IBM, Google 등 빅테크들의 거대한 부스에서부터 나오는 그 위용은 압도적이었던 것 같습니다. 정말 많은 연구자들이 부스에서 활발히 이야기들을 나누고 작게 Panel talk들도 진행되었는데요. 연구자들 간 네트워킹과 리크루팅 역시 아주 활발히 진행이 되고 있었습니다.
열심히 팬들과 소통 중인 제프 딘구글 역시 초대형 부스를 운영하고 있었고 정말 많은 분들이 계셨습니다.
그런데 그 부스에서 만났던 분 중 전설적인 개발자 제프 딘이 있었습니다.
제프 딘은 구글에 정말 많은 engineering power를 준 사람으로 구글 내에서 그분이 손이 거치지 않은 것이 없으며, LLM의 핵심 중 하나인 'Emergent abilities of large language models'의 저자이면서 Google Chief Scientist입니다.
정말 전설과 같은 분을 여기서 뵐 수 있어서 너무 놀라웠고, 남은 세션에서도 페이페이 리, 이안 굿펠로우 등 CS에서 유명인사를 볼 수 있을 것이라 생각하니 다시 한번 오길 잘했다 생각이 들었습니다.
NVIDIA의 GH100기업 부스 속에서 한 가지 또 재미있었던 점은 AI와 HW는 더 이상 분리할 수 없다는 점입니다.
AI 학회임에도 많은 HW 기업들이 참여하여, 본인들의 AI 가속기들의 성능을 보여주고 Deploy한 Best practice들도 많이 설명해 주었습니다. 16fp가 아니라 자체 개발한 새로운 precision를 활용하거나 container의 활용 방식에 집중하여 AI를 가속화하는 솔루션을 제안하는 등 다양한 형태로 GPU Cloud 서비스 또는 HW를 제공하는 기업들을 많이 볼 수 있었습니다.
현장에서 GH100과 HBM 역시 실물은 처음으로 볼 수 있었고, Cerabras에서 개발한 NPU 역시 직접 볼 수 있었습니다.
Cetabras의 WSE-3엄청나게 크다는 것은 알고 있었는데 실제로 보니 그 사이즈가 거대하긴 했습니다. 대량 양산 시 수율이 얼마나 나왔을까 궁금했던 부분이기도 합니다.
이처럼 HW 기업들이 많이 참여하였으며 Lambda, IREN, HPU-AI.com 등 Hyperscale Cloud player 뿐만 아니라 AI용 GPU를 뾰족하게 타겟하는 Neo Cloud player 역시 많은 자리를 차지하고 있었습니다.
뿐만 아니라 요즘 가장 핫한 제품 중 하나죠. Tesla의 옵티머스 역시 시연을 볼 수 있었습니다.
함께 사진도 찍고 옵티머스가 춤을 추는 것을 보기도 하는 등 많은 사람들이 몰렸던 부스 중 하나였습니다.
영상으로만 보다 실제로 보니 흥미로웠습니다.
Tesla 뿐만 아니라 Unitree의 로봇 강아지 역시 볼 수 있었습니다.
다가와서 인사를 하는 로봇 강아지를 보니 의외로 마음이 많이 힐링되더라고요.
스타트업 부스들Expo에는 대기업들만 참여하는 것은 아니었습니다.
정말 많은 크고 작은 스타트업들 역시 부스를 진행하며 참여하고 있었는데요.
산업용 AI, 애니메이션향 이미지 생성 AI, 홈 로봇, AI Monitoring Solution 등 다양한 형태로 business를 전개하는 스타트업들과 만나며 이야기 나눌 수 있었습니다.
확실히 보다 더 다양한 play를 하기도 하고, 시장에서의 challenge들로부터 조금 더 자유로운 분위기가 많이 느껴지기는 했습니다.
SqueezeBits in NeurIPS 2023한국 스타트업 중 부스 참여는 트웰브랩스가 유일하게 참여를 했습니다.
작년에는 저희 패밀리사 중 하나인 스퀴즈비츠가 부스로 참여했었는데요.
NeurIPS를 꾸준히 나오고 계시는 연구자분들께서 많이 기억해 주시고 또 현재도 기술력으로 압도적인 것 같다는 이야기를 많이 해주셨습니다.
최근 스퀴즈비츠에서 LLM Optimization Solution인 '핏츠 온 칩스'도 출시하였으니 많은 관심 부탁드리겠습니다!
앞으로의 NeurIPS에서 더 많은 한국 스타트업들을 볼 수 있다면 좋을 것 같습니다.
정신없는 학회 속 잠깐의 힐링정신없이 학회를 돌아다니다 보면 시간이 정말 빠르게 흐릅니다. 시차 적응을 할 겨를도 없이 일정이 지나가버리는데요. 그런 와중에 한 번씩 크리스마스 분위기 가득한 밴쿠버의 뷰를 보면 또 힐링이 됩니다.
다시 또 힘내서 돌아다녀야죠.
Networking night in NeurIPS사실 학회는 세션도 중요하지만 학회 중간중간 커피챗이나 밋업, Networking night이 아주 중요한데요. 뛰어난 연구자들끼리 네트워킹을 통해 공동 연구를 진행하기도 하고 향후 커리어를 준비하기도 합니다. 그런 네트워킹 자리에 함께해 이야기를 듣다 보면 확실히 현업에 있지 않으면 알 수 없는 이야기들을 들을 수 있고, 예상치 못한 뛰어난 예비 창업가분들을 만나기도 합니다.
재미있는 점은 뛰어난 연구자들은 사실 이미 서로 연결되어 있기 때문에 어떻게 보면 이곳도 고인물들의 세계이기는 합니다. 이번 학회를 참관하면서 오랜만에 만난 반가운 지인분들도 많았고 예상치 못한 mutual들을 발견하기도 했습니다. 머나먼 타지에서 느끼는 편안한 고향의 느낌이 기분 때문만은 아니었던 것 같습니다.
이번 뉴립스에서 CV, VLA, GNN, Diffusion model 등 다양한 토픽들이 있었지만 가장 흥미로웠던 키워드는 아무래도 AI4Science였던 것 같습니다.
올해 하반기부터 본격적으로 투자 검토를 시작한 영역 중 하나와 공교롭게도 맞닿아있는 주제라 즐겁게 학회를 참관하고 있는데요.
앞으로 남은 일정 동안 AI4Science에 대해서 더욱 깊이 있게 이해할 수 있기를 기대하면서 앞으로 관련 영역에서의 투자도 큰 설렘과 함께 기다려볼 수 있을 것 같습니다.
NIPS 2024
그럼 남은 일정이 끝난 이후 저는 한국에서 다시 또 인사드리겠습니다.
'캐나다에서 전하는 AI의 지금'이었습니다.
카카오벤처스 김영무(Zero) 심사역