인공지능(AI) 외주 프로젝트를 성공으로 이끄는 방법
안녕하세요.
기업 인공지능 도입 전문가,
김도환입니다.
오늘은 AI 외주 프로젝트를
성공적으로 이끄는 방법에 대해
알려드리고자 합니다.
AI 분야는 일반인들에게 생소하기도 하고
전문가가 많이 없는 분야입니다.
때문에 의뢰업체 측에서는 종종 기획부터 데이터 수집, AI 모델링, 테스트 등
모든 과정을 AI 개발전문기업가 완벽하게 해줄 것으로 생각하시는 경향이 있습니다.
하지만 분명히 의뢰업체 측에서 관리해야 부분이 있는데요.
그 일들은 다음과 같습니다.
먼저 개발 업체를 선정하고 개발이 진행되면
업체에서 작성한 작업 목록표를 꼼꼼히 확인하셔야 합니다.
빠진 작업은 없는지 이해가 가지 않는 부분에 대해선
의뢰업체에 가감없이 물어보셔야 합니다.
다음으로 기획서와 작업목록 내용을 기반으로
테스트 케이스를 꼼꼼하게 작성하셔야 합니다.
물론 AI 개발 프로젝트를 진행하는 외주업체에서도
테스트를 진행하지만 의뢰업체에서도 직접 테스트를 진행하여
오류사항을 찾아내고 수정 요청을 하셔야 합니다.
지금까지 말씀드린 부분은 웹앱의 UI, UX , 문구 , 기능 등에 대한
테스트 진행 부분이었습니다.
다음으로
인공지능을 학습시키는 모델링 과정에서도
테스트를 진행하시는 겁니다.
물론 외주업체에서도 모든 테스트를 진행합니다.
그렇다하더라도,
외주업체에 직접 테스트를 해보고싶다고
요청하시는 것이 좋습니다.
AI 모델링 과정은 한번에 완성되는 것이 아닌
여러번의 파인튜닝을 거쳐 정확도를 올리는 과정입니다.
그 과정을 업체와 직접 소통해가며
버전별로 AI 모델을 직접 체크해본다면 업체와의 오해도 없고
AI 모델 성능이 올라가는 과정을 직접 체크하실 수 있습니다.
이 AI모델을 테스트하기 위해선 지표를 확인하셔야 하는데요.
사실 AI 모델링 과정에서 인공지능의 성능을 측정하는 지표는
AI 모델마다 다르지만 대표적인 측정 지표는 다음과 같습니다.
정확도: 모델이 예측하는 값이 실제 값과 얼마나 가까운지 측정하는 지표입니다.
재현율: 모델이 실제 값이 양성일 때 모델이 양성이라고 예측하는 비율을 측정하는 지표입니다.
민감도: 모델이 실제 값이 양성일 때 모델이 양성이라고 예측하는 비율을 측정하는 지표입니다.
F1 점수: 정확도와 재현율의 조화 평균을 측정하는 지표입니다.
AUC: ROC 곡선 아래의 면적을 측정하는 지표입니다.
ROC(Receiver Operating Characteristic) : 곡선 아래의 면적을 의미. ROC 곡선은 모델의 민감도와
특이도를 나타내는 그래프. 민감도는 모델이 실제 값이 양성일 때 모델이 양성이라고 예측하는 비율을 의미
지표에 대한 설명을 요청하시고
직접 테스트하여 지표의 변화 과정을 관리해보실 것을 추천합니다.
오늘은 AI 개발 프로젝트를
성공으로 이끄는 방법 대해 알아보았습니다.
꼼꼼하게 직접 테스트 및 관리를 하시어,
성공적인 AI 서비스를 개발하시길 기원합니다.
감사합니다.
https://walla.my/survey/DObblYeXUxoaY7VajNu1
