인공지능과 추천 시스템 강의 노트 - (8/16)
2024. 10. 25.
들어가며
이번 주는 학생들과 간담회가 있어서 단축 수업이 예정되어 있었다. 작년의 경험으로 학기 앞부분에 하면 좋았던 기억들이어서 조금 서둘렀고, 조교들이 일정 조절에 많은 노력들을 해 주었어서 꽤 많은 이야기들을 한 거 같기도 하고, 한편으로는 모든 학생들을 더 말을 섞어 보지 못한 게 미안한 생각도 들게 된다. 명함들을 나누고, Linkedin 에 scan도 하지만, 아무래도 내가 먼저 말을 붙이며 돌아다니기에는 좀 부담스러운 상황이긴 하다. calendly 를 이용한 커피챗을 조금이라도 더 이용하고 권해야 하겠다.
이번 주부터 학기말 발표들을 시작하게 되었고, 이번 주와 다음 주는 한 주제씩, 그 이후는 수업의 절반 이상이 과제에 할당되는 일정이 되겠다.
준비한 내용들
앤트로픽의 컴퓨터 위에서 동작하는 Agent 가 신기했고, nature 지에 소개된 구글의 Synth ID 도 구글스러운 접근이라 생각이었다. 어떻게 접근해야 할 지 아직은 막막한 AI 각서까지..
Statse of AI - part 2
지난 수업에 이어 Nvidia 를 제외한 업계의 이야기들과 지난 1년간 연구소들의 이야기들을 같이 훑었다. 현재를 설명해 주는 요약된 보고서이기에 같이 잠깐씩 훑어 보는 것만으로도 지난 1년의 격변을 이해할 수 있고, 학생들도 그리 받아 주면 하는 바램이다. 아래는 총평.
프론티어 연구소의 성과가 점차 수렴되며, 독점 모델의 우위가 줄어들고 있다. GPT-4와 다른 모델 간의 격차가 좁혀지고 있으며, OpenAI의 o1 모델이 선두를 다시 차지했으나, 그 위치가 얼마나 오래 지속될지는 미지수이다.
LLM 연구에서는 계획과 추론이 중요해지며, 기업들은 강화 학습, 진화 알고리즘, 자기 개선과의 결합을 통해 미래 지향적인 에이전트 응용 프로그램 개발을 모색하고 있다.
파운데이션 모델은 언어를 넘어 수학, 생물학, 유전체학, 물리학, 신경과학 등 다분야 연구에서 잠재력을 보여주고 있다.
미국의 제재는 중국 연구소의 모델 개발 능력에 큰 영향을 주지 못했다. 중국의 연구소들은 재고 비축, 승인된 하드웨어, 밀수, 클라우드 접근 등의 방법으로 고성능 모델을 개발하고 있다. 한편, 중국의 반도체 산업 구축 노력은 여전히 혼란스러운 상태이다.
AI 기업들의 기업 가치는 9조 달러에 도달했으며, 상장 기업들은 AI 성장에 따른 강세장을 경험하고 있다. 민간 AI 기업들에 대한 투자도 증가했으나, 미국의 생성형 AI 거대 유치들에도 불구하고 규모는 훨씬 적었다.
파운데이션 모델 개발자와 영상 및 음성 생성 스타트업을 포함한 몇몇 AI 기업들이 본격적인 수익을 창출하기 시작했다. 그러나 모델이 저렴해지면서 장기적인 지속 가능성에 대한 의문은 여전히 남아 있다.
일부 AI 기업들은 수익 모델을 찾지 못해 '의사 인수(pseudo-acquisition)'를 선택하는 사례가 증가하고 있으며, 선도적인 위치를 유지하는 것이 부담스러운 상황이다.
OpenAI에서의 실패한 쿠데타 이후 특히 존재적 위험에 대한 논의는 줄어들었다. 그러나 연구자들은 잠재적인 모델 취약성과 오용에 대한 지식을 계속 심화시키면서 잠재적인 수정 및 보호 조치를 제안하고 있다.
기말 과제 발표
Reducing AI Footprint: Multimodality for TikTok Viral Prediction - 김가온.pdf
첫 주제는 논문 분석 + 구현 및 테스트. 작년에 조교로 수고해 주었던 학생이 처음 해 주어서 과정을 smooth 하게 만들어 주었다. 몇몇 comment 들과 질문들.
- viral 을 예측하는 비용을 적은 footprint 로 구현하고자 하는 노력들.
- viral 이 매우 중요한 도메인에서 문제를 잘 정의하고 있고, 이를 예측하기 위한 비용을 줄이는 것의 접근.
- Audio + Video를 이용한 간단한 CNN 접근. 더 나은 것들을 예상할 수 있을까..?
- maximum 1분의 contents 에서 5초면 충분할까..? 비슷한 성능을 보인다면 더 작게는 ? 꼭 video를 봐야 할까 ?
마치며
다음 주는 라이브 코딩들과 작년에 하지 않았던 새로운 것들을 담아야 겠다는 생각을 하고 있다. OpenAI API 로 RAG 만드는 예제를 시연해서 해 볼 수 있을까 싶은 생각과 걱정이 있는데, 주중에 잡힌 부산/광주 출장 일정 사이에 자료들을 더 준비해야 할 거 같다.
