brunch

매거진 빅데이터와 AI에 대한 생각들

라이킷 11 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 알바트로스 Jan 02. 2024

성공적인 AI도입을 위한 세가지 핵심전략

목표 설정과 기초모델 그리고 커스터마이즈

챗GPT(ChatGPT)와 Stable Diffusion을 비롯한 생성형AI의 활용은 이제 개인의 영역을 넘어 비즈니스 분야에서도 필수가 되고 있다. 이에 따라 국내 기업들도 자체 생성형AI 도입에 박차를 가하고 있다. 보안 기업 파수의 설문 조사 결과에 따르면 국내 기업과 기관의 절반 이상에 해당하는 76.4%가 이미 생성형AI 기술을 적극적으로 활용하고 있거나 추후 활용할 예정인 것으로 나타났다.

이처럼 생성형AI의 비즈니스 도입이 활발해지면서 생성형AI에 조심스러운 입장을 보여왔던 국내 대기업들도 생성형AI 도입을 적극 추진하고 있다. 일례로 임직원의 사내 데이터 유출을 이유로 챗GPT(ChatGPT)의 사용을 금지하였던 삼성전자는 연내 챗GPT의 대항마로 검색, 번역, 요약 등 업무에 활용할 수 있는 자체 개발 생성형AI를 구축할 것을 발표했다.

하지만 기업의 생성형AI 도입은 규모와 파급력이 개인 사용자와 비교해 큰 만큼 그 과정에 있어서 다양한 제약조건 및 기술 성숙도에 따라 신중하게 도입 전략을 세워야 할 필요가 있다. 기업들이 생성형AI를 도입하기 전에 꼼꼼히 따져보아야 할 3가지 핵심 질문과 그에 따르는 도입 전략에 대해 소개하겠다.

1. 명확한 목표가 설정되어 있는가?

모든 시스템 도입이 그렇듯 생성형AI 도입 역시 명확한 목표설정이 필수적이다. 회사는 생성형AI 도입 전에 반드시 생성형AI를 적용할 업무 및 분야와 그에 따른 기대효과 등 KPI를 명확히 설정할 필요가 있다. 각 회사에서 목표로 하는 목표에 따라 도입전략이 180도 달라질 수 있기 때문이다.

예를 들어, 회사의 핵심 역량이라고 할 수 있는 기술과 핵심 영업 노하우가 담긴 문서의 검색, 요약 및 번역 등의 기능을 제공하는 사내 지식 관리 시스템(KMS, Knowledge Management System)을 구축하고자 하는 경우와 특정 도메인에 특화된 고객 응대용 챗봇을 만드는 경우의 도입 전략은 완전히 다를 수 있는데, 각각의 전략에 대해 살펴보자.

Solution 1) 목표 및 KPI에 따른 도입 전략

우선 기업 내 핵심 기밀을 비롯한 민감정보를 다루는 기술에 생성형AI를 적용하는 경우 보안을 최우선으로 두어야 한다. 이 때 네이버의 하이퍼클로버나 OpenAI사의 챗GPT(ChatGPT)와 같이 정보 API를 활용한 생성형AI를 활용하면 서비스 제공업체의 서버에 우리 회사의 정보가 유출될 수 있는 리스크가 있으므로, LLaMA2와 같은 오픈소스 코드에 기반한 생성형AI를 활용하는 방법을 고려할 수 있다.

반면 단순 고객 응대나 특정 도메인에 특화된 고객 응대용 챗봇에 생성형AI 기술을 적용하고자 하는 경우 보안보다는 높은 성능과 낮은 구축 비용 등 효율성을 우선으로 하는 것이 좋다. 따라서 이 경우에는 MS Azure나 Amazon AWS와 같은 AI 플랫폼 서비스의 도움을 받아 뛰어난 성능을 자랑하고 사용량만큼만 비용이 발생하는 API 기반 최신 모델을 적극적으로 활용하는 것을 추천한다.

2.기초모델 선택은 어떻게 할 것인가?

기초모델 현황 (출처 : https://www.digitalfocus.news)

생성형AI 도입 시 기초모델의 선정 전략 역시 중요하다. 기초모델이란 대량의 학습 데이터로 사전 훈련되어 질문 응답 및 특수 이미지 생성 등 특정 작업을 위해 미세 조정(fine-tuning)된 모델을 뜻하는데, 챗GPT(ChatGPT)의 근본이 되는 GPT-3.5 Turbo와 GPT-4.0과 같은 모델을 예로 들 수 있다. 도입 목표에 따른 전략이 달라지는 것과 마찬가지로, 기초모델 선택 또한 기업이 처한 상황과 예산 등에 따라서 달라질 수 있다.

Solution 2) 모델 크기와 성능의 trade-off

대부분 생성형AI의 근간이 되는 기초모델(foundation model)의 경우 모델 크기가 클수록 성능이 좋은 반면, 컴퓨팅 리소스와 시간이 많이 소모된다. 따라서 고성능 생성형AI를 자체 개발하고자 하는 경우 우리 회사에서 가용 가능한 GPU의 성능과 서버의 갯수 등 컴퓨팅 리소스를 반드시 고려해야 한다. 뿐만 아니라 생성형AI 자체 개발을 위한 연구 및 리서치 가용 인력 또한 중요한 요소 중 하나다.

충분한 컴퓨팅 리소스와 인적자원을 갖추지 못한 회사에서는 생성형AI 활용을 위한 다양한 플랫폼 및 서비스를 고려해 볼 수 있다. MS Azure와 Amazon AWS 그리고 Google Cloud 뿐 아니라 다양한 국내 대기업 계열 SI사에서도 생성형AI 도입 및 활용을 위한 솔루션을 제공하고 있다.

3. 생성형AI를 어떻게 커스터마이즈 할 것인가?

커스터마이즈 전략은 AI 도입의 세 번째 핵심적인 단계이다. 이 단계에서는 기업의 도메인에 특화된 요구사항에 맞춘 AI의 성능 최적화에 중점을 두며, 환각현상(Hallucination) 이라고 불리는 부정확한 정보 생성을 방지하고 성능을 개선하는 것이 목표다. 환각현상(Hallucination)은 AI가 잘못된 데이터를 학습하거나, 부적절한 입력에 기반하여 사실이 아닌 정보를 생성하는 현상을 의미한다. 이를 방지하기 위해서는 고품질의 데이터 셋을 구축하고, 지속적인 모델의 평가와 개선 작업이 필수적이다.

Solution 3) 성능 최적화와 환각현상 방지를 위한 두 가지 전략

그렇다면 어떻게 우리 회사에 특화된 맞춤형 생성 AI를 만들 수 있을까? 기업은 자체 데이터를 활용하여 모델을 특정 업무나 업계에 최적화시켜야 한다. 이를 위해서는 데이터 전처리, 모델의 미세 조정(fine-tuning)과 지속적인 학습(continuous learning) 과정을 통해 모델이 기업의 업무 환경에 맞게 발전하도록 해야 한다. 또한, AI의 결정 과정을 모니터링하고, 잘못된 출력을 바로잡는 것이 중요하며, 이를 위한 내부 프로토콜과 지침을 마련해야 한다.

미세 조정(fine-tuning) (출처 : https://towardsdatascience.com/)

그러나 AI 관련 인력과 컴퓨팅 리소스가 부족한 기업에서 미세 조정(fine-tuning)을 통해 모델을 자체 개발하는 것은 쉽지 않을 수 있다. 이러한 상황에서 활용할 수 있는 맞춤형 생성 AI 개발을 위한 또 한 가지 방법은 RAG(Retrieval Augmented Generation)을 활용하는 것이다. RAG(Retrieval Augmented Generation)이란 생성형AI의 응답을 개선하기 위해 관련 정보를 검색하고 이를 통합하는 기술을 말한다.

RAG(Retrieval Augmented Generation) (출처 : https://towardsdatascience.com/)

RAG는 특히 정보에 기반한 정확한 응답을 필요로 하는 업무에서 유용한데, RAG를 통해 AI는 질의에 가장 관련성 높은 데이터를 검색한 후, 그 데이터를 기반으로 응답을 생성한다. 이를 통해 AI의 응답 정확도가 향상되고, 환각 현상을 줄일 수 있다. 최근에는 Langchain과 같은 프레임워크와 다양한 벡터 스토어(Vector Store) 등 오픈소스 라이브러리를 활용해 RAG를 쉽게 구현할 수 있는데, 모델을 직접 미세 조정(fine-tuning)하는 것보다 적은 노력과 리소스를 통해 동일한 효과를 낼 수 있는 하나의 대안이 될 수 있다.

생성형 AI 도입이 너무 어렵다면?

지금까지 기업이 생성형AI 도입을 위해 답해야 할 세 가지 핵심 질문과 그에 따른 해결책들에 대해 살펴보았다. 그러나 생성형AI에 대한 배경지식과 사용 경험이 부족한 조직에서는 스스로 현재의 상황을 올바르게 파악하고 위의 질문들에 답하는 것이 쉽지 않은 것이 사실이다.

다행히도 생성형AI 도입에 어려움을 겪고 있는 기업들을 위해 AI 분야에 대한 전문성을 바탕으로 전문 컨설팅과 생성형AI 도입에 대한 ‘AI 기반 토탈 솔루션’을 제시하는 기업이 있다. 바로 SK㈜ C&C다. 수년 전부터 AI 자연어 챗봇에 대해 연구하고 실제 산업 현장에서 구축 및 운영을 해온 SK㈜ C&C는 최근 AI 기반 토탈 디지털 서비스를 런칭하고 보다 많은 기업이 생성형AI를 비즈니스에 잘 활용할 수 있는 방법을 제시하고 있다.

종합하면, 기업은 생성형AI를 도입함에 있어 명확한 목표 설정, 적절한 기초모델 선택, 깊이 있는 커스터마이즈 전략, 그리고 지속 가능하고 유연한 인프라 구축이 필요하다. 이를 통해, 기업은 변화하는 비즈니스 환경에 빠르게 적응하고, 경쟁 우위를 확보할 수 있다. 생성형AI는 단순한 기술적 진보가 아니라, 비즈니스의 새로운 가능성을 여는 혁신적인 도구임을 명심해야 할 것이다.

*본 기고는 디지털트렌스포메이션 전문 기업 SK C&C로부터 소정의 원고료를 지급 받아 작성하였습니다.

keyword