유응준 교수, LLM 지능을 높이기 위한 3가지 방법?
스마트폰이 나오며 일상이 바뀌었다
지난 4월 30일 서울과학종합대학원대학교에서 ‘BBS 세미나’가 진행됐다. ‘BBS 세미나’는 ‘Brown Bag Seminar’의 약자로, 서울과학종합대학원대학교 교원들의 aSSIST 정착을 위한 소통의 장으로 마련됐다. 본 ‘BBS 세미나’에서는 유응준 교수가 ‘Nvidia와 AI, GTC 2025’라는 주제로 발제를 진행했다.
유응준 교수는 쌍용정보통신 엔지니어, HPE Korea 컨설팅 본부장, Sun Microsystems 삼성 고객 담당 임원, Oracle Korea 핵심 고객 담당 임원, NVIDIA Korea 대표, KAYTUS Korea 대표를 역임했으며 현재 Caroline University 교수, 서울과학종합대학원 석좌교수, JOON AI Consulting 대표로 활약 중이다.
전문 분야는 AI 에이전트, LLM(Large Language Model) 도입 컨설팅, AI 서버 구매 자문, 기업의 AI 도입 전략, Nvidia와 협력, 기업의 AI 도입 전략, AI 모델 구현 및 활용에 대한 Advisor 역할, Nvidia 제품 및 서비스에 대한 지원, 기업에 필요한 AI 전문가 소개 및 추천, AI, LLM, Data Center Infra에 관한 교육 서비스가 있다.
유응준 교수가 발제를 진행하고 있다.유응준 교수는 AI를 엔비디아가 어떻게 이끌어갔는지를 언급하며 지난 30년간 IT 발전을 설명했다. 그는 “스마트폰이 나오면서 일상이 바뀌게 됐다. 2010년이 넘어가며 데이터가 폭주했다. 데이터 러닝에서 AI가 실질적인 시작이 됐다. 올해 초 딥싱크 아론이라는 말이 나왔다”고 말했다.
“산업혁명이 근육을 기계로 바꾸는 것이라면 AI 혁명은 컴퓨터를 사람으로 바꾸는 것이다”라고 말했다.
유응준 교수는 AI를 하려면 3가지 조건이 필요하다고 말하며 첫 번째, 데이터가 많아야 하고 두 번째는 데이터를 처리할 알고리즘이 필요하며 마지막으로 이걸 처리할 수 있는 처리기가 있어야 한다고 언급했다.
그러면서 그는 현재 우리 대한민국에 인재가 부족해 인재를 많이 개발해야 한다고 제언했다.
AI 모델을 만들 때 3가지를 고려해야 한다. LLM 지능을 높이기 위한 3가지 방법 첫 번째는 Pre-training Scaling - AI의 지능을 높이기 위해서 대량의 데이터를 거대한 양의 GPU로 학습, 한계에 봉착이다.
두 번째는 Post-training Scaling - 인간이 원하는 답변을 얻기 위한 노력, AI 답변에 대해서 인간이 채점을 하고 AI는 좀 더 높은 점수를 받기 위해서 학습 RLHF(Reinforcement Learning with Human Feedback)이다.
유응준 교수가 발제를 진행하고 있다.세 번째는 Test-time Scaling “Reasoning” - AI의 추론 능력을 높이기 위해서 다양한 방식으로 더 많은 계산. Chain of Thought: 복잡한 문제를 나누어 단계별로 접근하고 해결해가는 AI의 reasoning 방식. 최근 들어 점점 중요해짐: Deepseek R1, OpenAI o3, Deep Research, Claude 3.7 reasoning, Perplexity Deep Research 등이다.
즉 데이터 문제, 모델 트레이닝, 모델 트레이닝의 퍼포먼스가 필요하다.
유응준 교수는 “기술이 발전해서 성능 대비 기능이 떨어졌다. 오히려 가격이 떨어졌기에 더 많이 쓴다. 결혼식에 7명의 사람을 테이블에 배치해야 한다. 기존 LLM 모델은 토큰이 빠르다. 앞으로 AI 에이전트 시대엔 더 많은 토큰이 필요하다”라고 말했다.
그러면서 그는 2028년 Nvidia DC 매출은 700조+라고 말하며 Blackwell 다음 로드맵, 4년 로드맵, GPU 성능 및 TCO, Nvidia 제품군, 추론을 더욱 빠르게 하는 Nvidia Dynamo, Physical AI 구현 등에 대한 인사이트를 공유했다.
