AI 기술 패러다임의 변화, AI 엔지니어의 역할은?
일 잘하는 AI 엔지니어 되기
AI 개발 환경의 변화, 그에 따른 엔지니어의 역할은?
불과 몇 년 전만 해도 AI 모델을 개발하는 일은 극히 전문적인 영역이었다. 머신러닝이나 딥러닝에 대한 정보가 지금처럼 풍부하지 않았고, AI 모델을 구축하기 위해서는 석사 학위 이상의 전문 인력이 필요했다. 특히, 당시에는 딥러닝 프레임워크가 지금만큼 성숙하지 않아, 많은 AI 엔지니어들이 논문을 참고하여 아키텍처를 직접 구현해야 하는 경우가 많았다. 또한, 양질의 학습 데이터도 부족하고, 데이터에 대한 연구도 더디게 진행되어 있어 데이터 준비 자체가 큰 도전이었다. AI 기술 개발 환경이 열악했기에 AI 모델 개발은 쉽지 않았고, 그만큼 AI 개발자, 엔지니어, 리서처에 대한 수요가 많았으며 대우도 훨씬 좋았다. 실제로, AI 엔지니어가 논문을 읽고 분석하여 아키텍처를 구현하고 데이터 준비하고 학습하는 등의 모든 과정을 도맡아 하던 시절이었다.
그러나 최근 몇 년 사이에 AI 개발 환경은 급변했다. 특히 ChatGPT의 등장 이후, AI 모델 개발의 접근 방식이 완전히 바뀌었다. 파운데이션 모델들이 오픈소스로 공개되면서 누구나 손쉽게 모델을 튜닝해 사용할 수 있는 시대가 열렸고, LLM(대형 언어 모델)의 경우 단순한 프롬프트 엔지니어링만으로도 다양한 작업을 수행할 수 있게 되었다. RAG(Retrieval-Augmented Generation) 같은 방식도 많이 사용되면서 이제는 AI를 “어떻게 개발할까?”보다는 “어떻게 활용할까?”에 초점이 맞춰지고 있다. AI 모델을 처음부터 개발하는 일은 드물어졌고, 대신 기존의 거대 모델을 어떻게 적용하고 문제를 해결할지 고민하는 일이 많아졌다.
물론 여전히 AI를 고도화하고 실제 환경에 맞춰 최적화하기 위해서는 AI 전문가의 손길이 필요하다. 도메인 특화된 모델이나 매우 복잡한 문제에 대한 해결책을 제시하려면 AI 엔지니어의 역할은 여전히 중요하다. 하지만 이전처럼 AI 엔지니어가 논문을 보며 새로운 알고리즘을 구현해야 하는 필요성은 줄어들고 있다. 점점 더 많은 기업들이 기존의 거대 모델을 활용하는 쪽으로 방향을 잡고 있기 때문이다.
이러한 변화는 AI 엔지니어에 대한 수요에도 영향을 미치고 있다. 과거와 달리 이제는 AI 원천 기술을 새롭게 개발하는 것보다, 어떻게 하면 기존의 AI 기술을 더 잘 활용하고 더 나은 비즈니스 가치를 창출할 수 있을지에 중점을 두는 시대가 되었다. 이는 AI 엔지니어들에게도 커다란 변화를 요구한다. 기술적인 깊이만으로 승부를 볼 수 없고, AI를 비즈니스 문제에 적용하는 능력, 현업에서의 활용도를 높이는 능력이 점점 더 중요해지고 있다.
이런 변화를 지켜보면서 나 역시 가끔 3년 뒤, 5년 뒤에는 AI 모델 개발의 트렌드가 또 얼마나 바뀔지 궁금하고, 때로는 불안하기도 하다. 내가 쌓아온 지식과 역량이 더 이상 쓰이지 않을까 두렵기도 하다. 그래서 AI 엔지니어로서 시대의 흐름에 맞춰 끊임없이 학습하고, 새로운 기술을 익히며, 변화하는 환경에 적응해야 한다는 사실을 깨닫게 된다.
결국 중요한 것은 변화의 흐름을 읽고 꾸준히 발전하는 것이다. AI 분야는 빠르게 진화하고 있으며, 그 속도를 따라잡기 위해서는 지속적인 학습이 필수적이다. 하지만 기술의 변화와 함께 잊지 말아야 할 것은 기초의 중요성이다. 문제 해결 능력, 알고리즘의 원리, 데이터의 특성 등 기초 지식이 탄탄해야만 어떤 변화에도 잘 적응할 수 있다. 기초가 튼튼한 AI 엔지니어는 새로운 기술을 빠르게 이해하고 활용할 수 있는 능력을 갖추게 된다.
AI 엔지니어들은 이제 더 이상 AI를 잘 알고, 코드만 잘 짜는 사람이 아니라, AI를 통해 실질적인 가치를 만들어내는 사람으로 거듭나야 한다. 그래서 우리는 늘 새로운 트렌드와 기술을 받아들이며, 빠르게 변화하는 AI 산업에 대비할 준비를 해야 한다. 시대가 바뀌면 우리의 역할도 변해야 한다는 점을 항상 기억해야 한다.
AI 기술 & 서비스 개발의 미래
최근에는 AI 서비스를 고도화하기 위해 AI 리서처와 같은 AI 전문가뿐만 아니라 하드웨어, 인프라, 백엔드, 최적화 등 다양한 분야의 전문가가 필요해지고 있다.
이는 AI 서비스가 더 적은 리소스로 더 잘 동작하게 만들기 위해 AI 기술 리서치뿐만 아니라 하드웨어, 인프라, 백엔드, 최적화 등 다양한 기술이 요구되기 때문이다. 특히 근래에는 AI의 발전이 단순한 모델 성능 향상에 그치지 않고, AI를 실제 서비스에 활용하기 위해 서비스 아키텍처 설계까지 아우르는 기술적 도전과제로 확장되고 있다.
최적화의 중요성
현재 AI 분야에서는 리소스와 비용이 매우 중요한 이슈로 떠오르고 있다. 175B의 파라미터 개수를 가지는 LLM을 서빙하기 위해서는 350GB의 메모리 공간이 필요하기에 이를 GPU에 적재하기 위해 약 5개의 H100 GPU가 필요하며, 이때 NVLink와 같은 고속 연결도 필수적이다. H100 GPU는 일반적으로 한 개당 고가이며, 모델 하나당 필요한 비용이 상당히 크고 유저가 많아질수록 비용은 상상을 초월하게 된다.
파라미터 개수가 적더라도 잘 동작하는 모델이나 기법들이 많이 등장하고 있지만, 여전히 파라미터 수가 많은 모델이 더 잘 동작하는 것은 사실이다. 때문에 좋은 성능으로 최대한 적은 비용으로 AI 모델을 서빙하기 위해서는 최적화가 정말 중요해지는 것이다.
이미 많은 기업들이 연산을 효율적으로 수행하거나 메모리 사용량, 전력 소모를 줄이는 방향으로 최적화를 이루고 있다. 이러한 최적화는 AI 모델이 구동되는 하드웨어에서 효율적으로 동작할 수 있도록 커널링 최적화를 하거나 잘 학습된 모델을 양자화 등의 방법으로 경량화하는 방향으로 발전하고 있다.
최적화를 잘하는 기업은 더 나은 모델을 보다 저렴한 비용으로 서비스할 수 있어 시장에서 경쟁력을 갖추게 된다.
On-Device AI의 발전 방향
이러한 최적화의 필요성에서 On-Device AI 개념이 부각되고 있다. On-Device AI는 데이터를 클라우드 서버가 아닌 사용자 장치에서 직접 처리하는 방식으로, 개인 정보 보호와 반응 속도 향상 같은 장점을 제공한다. 예를 들어, 스마트폰의 음성 인식 기능이나 이미지 분석 기능이 On-Device AI의 좋은 사례이다. 이러한 기술들은 네트워크 연결 없이도 빠르게 동작할 수 있기 때문에 사용자 경험을 크게 향상시킬 수 있다.
On-Device AI는 자원의 효율적 사용을 위한 최적화와도 연결될 수 있다. 장치에서 직접 처리하면 대역폭을 줄이고 서버 비용을 절감할 수 있기 때문이다. 결국, 하드웨어 성능이 더욱 향상되면서 AI 모델이 경량화되고, 다양한 디바이스에서 실행 가능하게 될 것으로 기대된다.
다양한 기술의 중요성
이처럼 AI 기술의 발전은 다양한 기술의 융합을 필요로 한다. 단순히 AI 리서처로서의 역할을 넘어서, AI 서비스 개발을 위해서는 여러 기술을 아우르는 역량이 요구된다. AI 전문가는 아니더라도 개발에 참여할 수 있는 기회가 많아지고 있으니, 기초적인 내용을 숙지하는 것이 큰 도움이 된다. 예를 들어, AI 모델의 최적화 과정을 이해하고, On-Device AI의 동작 원리를 배우는 것만으로도 AI 서비스 개발에 기여할 수 있는 방법이 많다.
이렇게 AI 기술은 계속해서 발전하고 있으며, 우리가 접하는 서비스와 애플리케이션에 많은 영향을 미치고 있다. 따라서 AI에 관심이 있다면, 최적화와 On-Device AI 같은 다양한 관점을 이해하고 습득하는 것이 중요하다.
