Llama3가 핫한 이 시점, 따끈한 주커버그 인터뷰
주커버그曰: 어느날 쫜~나타나지는 않을걸요
https://www.youtube.com/watch?v=bc6uFV9CJGg&t=1s
META가 Llama 3 작은 모델(8B, 70B)과 챗봇 서비스가 나온 이 시점에 유명 유튜버와 마크주커버그의 따끈한 인터뷰(4월 19일)가 있었습니다. 새삼 유튜브의 효용을 느낍니다.
저에게 인상적이었던 이야기를 중심으로 간추려봅니다.
#1 AGI에 대한 이야기
- AI의 진화는 점진적으로 진행될 것이다. 어느날 갑자기 특이점이 나타나 단하나의 AGI가 등장해서 모든 것을 해결할 것이라고 생각하지 않는다. 인간이 다양한 특이성을 갖고, 서로 다른 분야에서 역량과 전문성을 갖듯이 AGI도 그런 모습게 가까울 것이라고 생각한다.
(이 부분은 META의 수석 AI Scientist이자 AI 구루인 얀르쿤의 인터뷰를 보면 더 깊이있게 들어볼 수 있습니다. AGI가 인간에게 어떤 의미인가 조금 더 생각해볼 수 있는 인터뷰라 추천드립니다)
- 우리 회사는 메타버스에 집중하고 있고 그래서 우리의 AI는 이미지, 비디오 등을 포함헤 3차원 공간에 대한 전문성을 갖기 위해 노력하고 있다.
#2 미래 Use cases 이야기
(질문)지금의 추론을 10B달러 가치라고 생각하고 결국 100B달러 수준의 추론으로 진화한다면 어떤 use cases를 생각하고 있는지?
- 모든 상품의 기저에 변화가 있을 것이다
- 그리고 다른 사람들의 agents 들과 상호작용하는 영역의 가치가 커질 것이다.
(주커버그는 단일 agent로 재편되지 않을 거라고 했고 여러 분야의 다양한 agent들이 전문화되어 존재할 것이기 때문에 이들간의 상호작용도 중요한 파트로 본다고 해석할 수 있겠죠.)
- 예를 들어 어떤 창작자가 자신에게 최적화된 agent를 들고 있고 이를 통해 자신의 활동 분야, community에서 활용한다면 좀 더 다양한고 넓은 소비자와 교류할 수 있을 것이다.
#3 Llama의 미래 계획
(질문)미래 llama4 등등 가면 어떤 것을 할까?
- 아직 잘 모르겠다. 보다 실시간으로 사용자의 데이터를 활용하고 답을 내지 않을까 싶지만 잘 모르겠다.
- llama2는 코드에 집중한 모델이고 llama3는 보다 구체적으로 사용성을 만들어내고, agent처럼 동작하는데에 집중했다.
- 이렇게 각 단계마다 집중하는 영역이 생기는데 다음 version에서도 좀 더 직관적으로 파악하고 여러가지를 시도해보다 보면서 답을 찾아가게 될 것 같다.
#4 오픈소스의 가치
- 가장 큰 가치는 많은 개발자들이 코드를 이해하고 더 효율적인 방안들을 발견해내는 것
(질문) 그러면 트레이닝 등이 commodity화 될 것이라고 생각하는지?
- commodity화라는 것은 결국 싸게 많은 것들이 해결되는 것인데 그런 움직임도 가능하고 또, 보다 질적으로(fine tuning에 국한하지 않고) 개발자들이 많은 진보를 이뤄낼 수 있다.
- 그리고 "There's a bunch of times when we've launched or wanted to launch features and Apple's just like “nope, you're not launching that.” That sucks!"
- "다른 회사가 우리한테 할수 있다 없다 말하는 거 싫어요"
(Google과 Apple이 게이트키퍼로 있어서 힘들었던 히스토리가 있다고 하면서 눈이 반짝입니다. Google과 Apple에 한맺힌게 많아서 오픈소스 한다는 게 좀 감정적이지만 진짜일거라 짐작하셨던 분들...그거 맞습니다)
- 그래서 오픈소스로 각자 자신의 모델을 만들고 진화하는 환경을 지향하고 싶다는 얘기를 합니다. 어차피 Web이 아니면 OS에 제약을 받는데 Web 베이스로 가거나, MR용 플랫폼인 Horizontal OS를 키우겠다는 이야기겠죠.
- 오픈소스의 경제적 효과는 계산하기 어렵다. 오픈소스는 결국 Commodity화를 가속하는 효과("commoditizing yourself then a lot)"가 있다는 소리가 있지만 아직 그 정도는 아닌거 같다. 회사 입장에서 경제적인 효과 계산을 하기 시작하면 답이 안나온다. licence로 돈을 벌 수 있지 않냐고 물었지만 '돈이 들어올 수는 있죠' 정도의 뉘앙스네요. 별로 이에 대한 기대가 큰 거 같지는 않습니다.
* 사견을 추가하자면: 늦게 출발한 Meta가 Lllma3로 인해 Google, OpenAI에 뒤지지 않는 기술 경쟁력을 가지고 있다는 인식을 주고 있죠. 사실 오랜동안 성실하게 AI 인프라 투자를 해온 기업이기도 합니다. 이러한 Meta의 브랜드 가치도 이 계산에 넣어보면 현재의 오픈소스 전략은 돈만으로 환산할 수는 없는 가치가 있다고 생각합니다.
