엔비디아 경쟁력은 젠슨황 CEO

11월 27일 ‘AI 3대 강국 도약을 위한 AI인재 양성전략’이라는 주제로 2025 AI경영학회 추계학술대회가 서울과학종합대학원 본관 2층 제1강의실에서 진행됐다. AI경영학회 표정호 회장이 개회사를, 서울과학종합대학원 최용주 총장이 환영사를 한국경영학회 양희동 회장, 국민의 힘 양향자 최고위원이 축사를 건넸다.

카이스트 장동인 교수는 ‘기업의 AI도입과 활용을 위한 인재양성전략’에 대한 주제로 발표를 진행했다. 장동인 교수는 “많은 사람들이 AI가 기업 혁명을 바꿀 것이라고 말하지만, 제가 기업들을 돌아다녀 보니 가장 먼저 바뀌어야 할 사람은 바로 CEO였다. CEO가 바뀌지 않으면, 밑의 직원들이 아무리 열심히 연습하고 배워도 실제 경영에 반영되지 않고 CEO가 이해를 못 한다. 세상이 빨리 발전한다고 하는데, 그렇다고 지금까지 해왔던 대로 기업을 운영하면 안된다. 변화의 방식을 택해야 한다”라며 발표를 진행했다.

11월 27일 ‘AI 3대 강국 도약을 위한 AI인재 양성전략’이라는 주제로 2025 AI경영학회 추계학술대회가 서울과학종합대학원 본관 2층 제1강의실에서 진행됐다.

장동인 교수는 엔비디아의 경쟁력을 젠슨 황으로 꼽으며 “젠슨 황은 혼자서 1시간 반, GTC에서는 2시간 반 동안 제품과 AI 비전을 발표했다. 엔비디아의 마진율이 75%에 달하는 이유는 25원짜리를 100원에 팔아도 전 세계가 잠자고 있었기 때문이다. 엔비디아의 진짜 경쟁력은 기술적 예측과 과감한 인수에 있었다”라고 말했다.

2017년 트랜스포머 등장: 엔비디아는 재빨리 텐서 코어(Tensor Core)라는 기능을 GPU에 추가했다. AI 학습을 매우 빠르게 할 수 있는 기능이다.

2019년 멜라녹스 인수: 이게 가장 잘한 일이다. 멜라녹스는 서버 간 통신을 빠르게 연결하는 솔루션을 가진 유일한 회사다. 앞으로 수천, 수만 대의 GPU가 뭉쳐 학습할 텐데, 서버 간 통신이 병목 현상(bottleneck)을 일으키면 안 된다.

2020년 코로나 사태: 사람들이 클라우드 데이터 센터를 쓰기 시작했고, 이때부터 엔비디아 GPU를 수천 대씩 구매하게 된다.

이에 정동인 교수는 “이 모든 의사 결정을 한건 젠슨 황 CEO이다. 한국의 재계에도 젠슨 황처럼 뛰어난 유전과 기술적 지식을 바탕으로 바로 의사 결정을 내릴 수 있는 CEO가 필요하다”라고 이야기했다.

11월 27일 ‘AI 3대 강국 도약을 위한 AI인재 양성전략’이라는 주제로 2025 AI경영학회 추계학술대회가 서울과학종합대학원 본관 2층 제1강의실에서 진행됐다.

그러면서 그는 AI 도입 실패의 근본 원인에 대해 두가지를 꼽았다. 그는 “많은 기업 임원들과 얘기해보면, 그 기업의 AI 수준은 딱 CEO나 임원 수준이다. 과거 우리가 ERP(전사적 자원 관리)를 도입할 때처럼 ’AI는 패키지니까, 돈 주고 도입해서 설치하면 끝’이라고 생각하는 것이 가장 큰 문제다”라고 말했다.

“ERP는 패키지에 담긴 노하우를 배우고 프로세스를 바꾸어 '쓰는 방법'만 익히면 됐다. AI는 패키지가 아니라 그 회사 구성원 한 명 한 명의 능력이 결합되어야 비로소 작동하는 기술이다. 많은 CEO들은 ‘AI는 전문가의 일이다’라는 상식적인 생각으로 외부 전문가를 비싸게 영입한다. 하지만 이 상식이 오히려 AI 도입을 방해하는 요인이 된다”라고 지적했다.

이세돌과 알파고 이후 2017년부터 AI를 도입했지만, 실제로 AI를 잘 쓰고 있는 회사가 잘 생각나지 않는다. 그 이유는 도입만 해놓고 안 쓰기 때문이다. 처음 AI를 도입할 때 현업 직원들의 의견이 반영되지 않아 요구 사항이 제대로 들어가지 않는다. 2년 전 최신 모델도 지금은 완전히 올드한 모델이 된다. CEO가 AI 도입을 'AI 전문가 영입'로만 보기 때문에, 현업 주도로 가야 한다는 사실을 전혀 이해하지 못한다.

AI 도입은 9단계의 복잡한 프로세스를 거친다. 1단계에서 4단계는 분야 결정, 데이터 준비·전처리이며 역할은 현업 직원(업무 전문가)이다. 소요 시간은 전체 시간의 80~90%다. 5단계에서 9단계는 모델 설계, 훈련, 테스트이며 역할은 AI전문가다. 소요시간은 전체 시간의 10~20%다.

우리나라 문제점은 현업 직원들이 AI를 모르기 때문에 앞 단계(80~90% 비중)를 시작할 수 없다는 것이다. 현업이 적극적으로 ‘내 업무에 AI를 도입하자’고 주장하지 않으면 뒤 단계의 AI 전문가도 아무것도 할 수 없다.

정동인 박사는 “AI 팀을 CDO(최고 디지털 책임자) 밑에 만들고 외부 전문가를 팀장으로 모셔오면 큰 문제가 발생한다. 외부 전문가는 AI는 잘 알지만, 우리 회사의 제품, 서비스, 조직, 사람은 아무것도 모른다. 협업이 안 되고, 현업 직원들은 KPI에 없는 AI 업무를 열심히 할 동기가 없다. 2년 후 이 비싼 AI 전문가는 연봉을 50% 올려준다는 경쟁사로 이직하고 회사는 다시 원점으로 돌아온다”라고 전했다.

그는 AI 도입 성공을 위한 4가지 제언을 내부 인재 육성과 조직 개편, KPI개편 및 문화 조성, IT부서의 역할 변화, AI 업무 최적화를 꼽았다.

11월 27일 ‘AI 3대 강국 도약을 위한 AI인재 양성전략’이라는 주제로 2025 AI경영학회 추계학술대회가 서울과학종합대학원 본관 2층 제1강의실에서 진행됐다.

정동인 박사는 “CTO/CDO 밑에 AI 팀장은 반드시 내부에서 키운 인력을 시키고, 그 밑에 외부 AI 전문가를 소수 채용해야 한다. 내부 인재는 조직 문화와 동료 관계를 알기 때문에 협업이 원활하다. CEO는 AI를 직접 코딩하며 배워야 한다. 추상적인 강의만 듣고 직원들을 쪼면 안 된다. CAIO(Chief AI Officer) 과정처럼 대학원 과정에서 진지하게 공부해야 한다. AI가 '너를 잘라내려는 게 아니라 생산성을 높이려는 것'임을 명확히 알려주고, 전 직원을 대상으로 교육 프로그램을 짜야 한다”

“KPI에 AI 협업을 반영해야 한다. AI 업무를 열심히 하면 진급에 도움이 되고 인센티브를 받을 수 있도록 KPI를 바꿔야 한다. 지금처럼 AI 열심히 하면 ‘쟤는 진급 포기했구나’라는 인식이 사라져야 한다. AI 적용 분야를 찾는 것은 매우 어렵다. 반복적인 일을 하는 현업 담당자가 ‘내 업무를 AI로 바꿉시다라는 아이디어를 내도록 전사적인 아이디어 모으기 이벤트를 진행해야 한다”

“IT 부서는 흔히 코스트 센터(Cost Center)로 인식되어 인력과 예산이 타이트하다. AI 도입은 IT 부서에게 추가적인 짐으로 느껴진다. 하지만 AI 시대에 업무 최적화(Optimization)를 구현하는 것은 결국 IT 부서의 의지에 달려 있다. AI는 '업무 최적화(ERP)'가 되어야 한다”

끝으로 그는 “20년 전 ERP가 기업 자원의 계획(Planning)이었다면, 지금 AI가 해야 할 일은 '리소스 최적화(Resource Optimization)'다.단순 자동화 No: 단순 반복 업무를 자동화해서 남는 시간을 어디에 쓸지 모르면 실패한다”

“AI는 앞으로의 매출과 이익을 예측하고, 리소스를 어떻게 바꿔야 최대 이익이 날지 시뮬레이션하는 등 경영자가 밤새 고민하는 '업무 최적화' 영역을 맡아야 한다. 팰런티어가 업무 최적화 패키지를 만들었듯이, 우리 회사 IT 부서도 기존 ERP 시스템 위에 AI 껍데기를 씌워 현업의 질문에 답하는 시스템(AI 에이전트)을 만들 수 있다. 결론적으로, AI를 도입하면 일반적인 업무 능력은 평준화되지만, 전략 수립, 새로운 아이디어 창출 등 복잡한 의사결정 분야에서는 AI와의 깊은 대화를 통해 경영자의 역량이 극대화될 것이다. 도메인(업무) 지식이 있는 사람만이 AI에게 복잡한 질문을 던져 해답을 얻어낼 수 있다”라며 발표를 마쳤다.

한편, AI경영학회는 AI분야에서의 최신 동향과 혁신적인 아이디어를 공유하고, 산학연 간의 협력을 촉진하기 위해 창립되어 매년 장례적인 학술활동을 펼치고 있으며 본 정책세미나에서는 다양한 분야에서 활동하는 우수한 전문가들과 함께 ‘AI 3대 강국 도약을 위한 AI인재 양성전략’을 살펴보며 경주 APEC 정상회의에서 젠슨 황은 한국은 AI시대에 성공하기 위한 세 가지 핵심적이고 필수적인 조건을 다 갖추고 있다고 말했는데 우리의 AI인재 경쟁력은 어떠하며, 양성전략은 무엇인가를 살펴보는 시간을 가졌다.