기업에서 AI를 도입할 때, 적절할 역할을 정의하고, 권한과 책임을 부여해야 합니다.
AI 프로젝트의 경우에도 데이터를 모으는 작업, 데이터를 정제하는 작업, 모델에 데이터를 학습시키는 작업과 실제 서비스에 적용하는 작업에 역할이 필요합니다. 이런 역할을 수행하는 세 가지 직무가 Data Engineer, ML Engineer, AI Engineer입니다.
AI를 요리에 비유하면, Data Engineer는 시장에서 재료를 사 오고, 손질하는 사람입니다.
AI는 데이터를 먹고 자랍니다. 따라서 양질의 품질이 좋은 데이터를 준비해야 하죠. 보통 사내 데이터는 여러 시스템에 흩어져 있고, 형식도 제각각이며, 때로는 오류도 많습니다. 개인 PC에 중요한 정보를 보관하는 경우도 종종 있습니다. 이 상태의 데이터는 마치 아직 흙이 묻은 재료, 못 먹는 껍질이 있는 식재료와 같습니다.
Data Engineer는 여러 곳에 흩어진 데이터를 수집하고, 사용할 수 있는 형태로 정리하고, 안정적으로 쌓는 구조를 만들고, 필요할 때 빠르게 꺼낼 수 있도록 구성합니다. 즉, “데이터가 흐르는 통로”를 만듭니다.
좋은 Data Engineer가 있는 조직은 데이터가 막히지 않습니다. 따라서, 이 역할이 약하면, 좋은 모델을 만들고 싶어도 그렇게 할 수 없습니다.
이제 재료가 준비되었습니다. 다음은 요리를 해야겠지요. ML Engineer가 요리를 만드는 셰프입니다.
이들은 데이터를 활용해 모델을 만들고, 모델에게 데이터를 학습시키고, 성능 지표를 설계해서 성능을 체크하고, 다양한 기법을 사용해서 성능을 개선합니다. 머신러닝 모델 개발의 핵심입니다.
ML Engineer는 데이터와 결과에 잘 맞는 모델을 선택하고, 데이터를 학습 가능한 형태로 가공하고, 모델을 훈련시키고 성능을 평가하며 지속적으로 개선합니다. 중요한 포인트는 “잘 작동하는 모델”입니다. 단순히 돌아가는 것이 아니라, 정확하고 안정적으로 예측하는 모델을 만드는 것이 목표입니다.
비유를 이어가자면, ML Engineer는 단순히 요리를 하는 것이 아니라, 맛을 조절하고 레시피를 개선하며 최고의 요리를 만들어내는 셰프입니다.
이제 훌륭한 요리가 완성되었습니다. 이제 손님에게 잘 서빙하는 일이 남았습니다. AI Engineer가 완성된 요리를 고객에게 전달하는 역할을 합니다.
이들은 모델을 실제 서비스에 연결합니다. 예를 들어, 추천 시스템, 챗봇, 이미지 분석 서비스처럼 사용자가 AI 모델을 사용하는 형태로 만드는 것입니다.
AI Engineer는 모델을 API나 서비스 형태로 배포하고, 사용자 경험(UI/UX)과 연결하며, 시스템 성능과 안정성을 관리하고, 실제 환경에서의 발생하는 다양한 문제를 해결합니다. 이들은 “모델을 제품으로 만드는 사람”입니다.
Data Engineer가 데이터를 준비하고, ML Engineer가 준비된 데이터를 이용해서 모델을 만들면, AI Engineer가 모델을 이용해서 서비스를 완성합니다. 이렇게 데이터가 흐르고, 모델이 만들어지고, 서비스로 전달됩니다.
최근에는 급격한 AI의 발전으로 이 역할의 경계가 흐려지고 있습니다. Data Engineer가 데이터 수집과 품질 관리 이후 프롬프트 데이터까지 고민하고, ML Engineer가 모델 튜닝 이후의 API 활용에 집중하며, AI Engineer는 거꾸로 서비스 개발뿐 아니라 모델의 선택까지 담당하는 경우가 많아졌습니다.
참고
1) Data engineering. https://en.wikipedia.org/wiki/Data_engineering
2) Data science. https://en.wikipedia.org/wiki/Data_science
3) Machine learning. https://en.wikipedia.org/wiki/Machine_learning
4) Artificial intelligence engineering. https://en.wikipedia.org/wiki/Artificial_intelligence_engineering
5) What is data engineering? https://www.ibm.com/think/topics/data-engineering
6) 현대 데이터 엔지니어의 진화: 코더에서 아키텍트로. https://www.snowflake.com/ko/blog/evolution-of-the-data-engineer/
7) Professional Machine Learning Engineer. https://cloud.google.com/learn/certification/machine-learning-engineer?hl=ko
8) AWS Certified Machine Learning Engineer - Associate. https://aws.amazon.com/ko/certification/certified-machine-learning-engineer-associate/
9) What is an AI developer? https://www.ibm.com/think/topics/ai-developer