brunch

매거진 AI 엔지니어 첫걸음

라이킷 10 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 뭅즤 Dec 09. 2022

AI 엔지니어에 대해 알아보자

데이터와 AI 모델을 다루는 엔지니어

본 글을 시작하기에 앞서 'AI 엔지니어(또는 개발자)'라는 용어가 다소 오해의 소지가 있을 수 있는데요. 이 글에서 사용하는 'AI 엔지니어'라는 용어는 AI 모델을 개발하는 일에 직접적으로 관여하는 엔지니어를 뜻하는 범용적인 개념이라는 것을 참고해 주시면 감사하겠습니다.

그럼 지금부터 'AI 엔지니어'에 대해 소개해 드리겠습니다.

AI 엔지니어

인공지능 시스템은 일반적으로 프로그래밍 코드와 데이터로 구성된 AI 모델, 알고리즘으로 구성되어 있습니다. AI 엔지니어는 이러한 시스템을 설계하고, 기업의 관점에서는 인공지능 기술을 활용하여 노동 집약적인 작업을 자동화하거나 의사 결정에 도움을 주는 인사이트를 추출하여 비즈니스 문제를 해결하는 역할을 맡습니다.

실제로 AI 시스템 개발과 관련된 직업에는 AI Researcher, AI Research Engineer, AI Scientist, Deep Learning Engineer, ML Engineer, AI Software Engineer, Computer Vision Engineer, NLP Engineer 등 다양한 직무가 있으며, 이들 각 직무는 고유한 전문성과 목적을 가지고 있습니다.

업무가 연구에 얼마나 가까운지에 따라

업무가 연구에 얼마나 가까운지에 따라 크게 보면, 연구 중심의 직무와 성능 개선 및 모델 유지 보수에 더 가까운 직무로 구분할 수 있습니다.

주로 AI 모델 개발과 학습 방법론 선행 연구를 수행하는 직무는 AI Researcher라 불리며, 이들은 연구 결과를 기반으로 비즈니스 문제를 해결합니다. 반면 AI/ML Engineer는 주로 개발된 기술을 실제 서비스에 적용하고 모델의 성능을 향상시키며 유지 보수와 재학습을 담당합니다. 그러나 직무 명칭이 업무 범위를 명확히 결정하지는 않습니다. AI Researcher라고 명시된 직무도 실제로 데이터나 서비스 관련 업무를 수행할 수 있고, AI Engineer라고 명시된 직무도 연구가 주된 업무일 수 있습니다. 따라서 명칭보다는 실질적인 역할과 책임이 더 중요하다고 볼 수 있습니다.

결론적으로 AI 엔지니어들은 Researcher와 Engineer 사이에서 역할의 경계가 모호할 수 있으며, 많은 경우 두 가지 역할을 동시에 수행하는 경우도 많습니다.

연구에 대한 사견

"연구"에 대한 정의는 상대적으로 해석이 달라질 수 있는 부분입니다. AI 연구의 경우, 새로운 AI 모델을 제안하거나 성능을 향상시키는 방법을 탐구하는 과정을 포함할 수 있습니다. 국내에서는 이러한 원천 기술 개발이 주목받지만, 이는 주로 박사급 인력들이 진행하는 경우가 많습니다. 또한, 기존의 연구 결과를 활용하여 실제 비즈니스 문제를 해결하기 위해 AI 모델을 수정하고 적용하는 응용 연구도 중요한 부분입니다. 이러한 응용 연구는 많은 기업들이 AI 기술 개발에 많은 노력을 기울이고 있음을 의미합니다. 결국 많은 엔지니어들이 다양한 방식으로 AI 연구에 기여하고 있는 현황을 볼 때, 연구의 정의와 범위는 맥락에 따라 다양하게 해석될 수 있습니다.

무엇에 더 집중하는지에 따라 : AI vs 도메인

AI 개발과 관련된 직업은 AI 기술 자체를 연구하고 개발하는 포지션과 특정 도메인의 문제를 해결하는 데 집중하는 포지션으로 나눌 수 있습니다.

AI Research Engineer는 AI 솔루션 자체를 개발하는 기업에서 주로 활동하며, 다양한 비즈니스 문제를 해결하기 위한 AI 시스템을 설계하고 개발하는 역할을 맡을 수 있습니다. 이들은 주로 AI 기술을 활용하여 문제를 개선하는 데 중점을 둡니다.

반면, CV/NLP Research Engineer와 같은 특정 도메인의 엔지니어들은 해당 도메인에서의 문제를 해결하는 데 주력합니다. 예를 들어 CV Engineer는 영상 데이터에서 정보를 추출하거나 관련된 문제를 해결하는 데 집중하며, 이 과정에서 AI 기술 뿐만 아니라 컴퓨터 비전과 관련된 다양한 알고리즘을 활용하기도 합니다. 이는 딥러닝과 머신러닝에 대한 이해 뿐만 아니라 해당 도메인의 전문 지식을 요구합니다.

따라서 AI 개발자의 업무는 어느 한 측면에만 집중하는 것이 아니라 연구, 데이터 수집, 모델 배포, 유지보수, 재학습 등 다양한 과정을 포괄하며, 기업이나 팀의 성향에 따라 역할과 책임이 달라질 수 있습니다.

AI 엔지니어가 하는 일

앞서 말씀드렸다시피 AI 엔지니어의 업무 영역은 세부 직무, 산업 또는 팀의 성향에 따라 달라질 수 있습니다. 하지만 공통적으로 AI 기술을 개발하기 위해서 필요한 두 가지가 있습니다. 바로 '데이터'와 'AI 모델'입니다.

데이터

AI 엔지니어는 AI 모델을 학습하고 평가하기 위해 필요한 데이터를 관리합니다. 데이터 수집, 필터링, 전처리는 AI 모델의 성능에 직접적인 영향을 미칩니다. 예를 들어, 도시에서 사람의 위치를 찾는 AI 모델을 개발할 때, 복잡한 배경이 있는 이미지를 사용해야 하는 경우, 이러한 데이터를 효과적으로 모으고 검증하는 작업이 필요합니다. 데이터의 양이 방대하기 때문에 자동화된 데이터 필터링 및 품질 관리 시스템을 구축하는 것이 중요합니다.

AI 모델

AI 엔지니어는 기존의 연구 결과를 바탕으로 회사의 비즈니스 문제에 적합한 AI 모델을 개발합니다. 이 과정에서 학문적인 논문을 이해하고 최신 기술을 적용하는 능력이 필요합니다. 문제 정의, 기술 선택, 모델 구현, 성능 최적화 등의 단계를 거쳐 AI 모델을 개발하게 됩니다. 또한, AI 모델의 유지보수와 성능 개선을 위한 MLOps 업무도 담당할 수 있으며, 이는 모델의 라이프사이클 관리와 관련된 작업을 포함합니다.

AI 엔지니어는 프로그래밍 능력과 수학적 지식뿐만 아니라 데이터 관리 및 알고리즘 이해 능력이 필요합니다. 특히 자신의 전문 분야에 대한 깊은 이해도가 필요하며, 산업 도메인에 따라 다양한 기술을 융합하여 문제를 해결하는 능력이 요구됩니다.

AI 엔지니어