급속하게 생성형 AI 서비스가 늘고 있는 이유는?
ChatGPT 이후로 많은 경쟁 생성형 AI 서비스들이 짧은 시간 안에 등장하였습니다.
ChatGPT도 그 자체로 다양한 버전을 내놓고 발전을 거듭해 가고 있지만 퍼플렉시티, 클로드, 제미나이, 코파일럿을 비롯해 국내의 클로바X까지 많은 회사에서 유사한 서비스들을 빠르게 내놓고 있는 실정입니다. 그리고 그 서비스들의 성능이 ChatGPT 대비해서도 나쁘지 않은 수준입니다.
AI는 사람들에게 많이 익숙한 단어이지만 한동안 이렇다 할 만큼 사용자의 생활에 깊숙이 파고든 서비스가 없었습니다. 그런데 갑자기 ChatGPT를 위시로 유사한 성능을 발휘하는 AI 서비스들이 급속도로 빠르게 나타나고 있습니다.
ChatGPT는 현재 주당 사용자수인 WAU가 무려 3억에 육박한다고 합니다(출처: The Verge, 2024년 12월 기준).
그만큼 사용자들에게 적합한 답변으로 양질의 서비스를 제공하고 있다는 뜻입니다. 그러면 이런 대단한 기술과 유사한 서비스를 다른 기업이 어떻게 이렇게 빨리 내놓고 경쟁할 수 있게 된 것일까요?
알고리즘의 표준화
사람들은 AI가 마치 갑자기 하늘에서 뚝 떨어진 기술처럼 느끼는 경우가 많습니다. 하지만 실제로는 그렇지 않습니다. 사실 AI 모델들이 짧은 기간 안에 폭발적으로 등장한 진짜 이유는 ‘핵심 알고리즘의 표준화’ 덕분입니다.
Transformer라는 혁신적인 구조 덕분에 이제 누구나 이 알고리즘을 활용해 AI 모델을 만들 수 있게 되었고, 이로 인해 대기업뿐만 아니라 스타트업, 개인 개발자까지 경쟁적으로 모델을 출시할 수 있는 환경이 마련된 것입니다.
현재 대부분의 생성형 AI 서비스들은 Transformer 구조를 기반으로 LLM(Large Language Models)을 베이스로 하고 있습니다. 이는 핵심 알고리즘의 표준화가 이루어졌다는 것을 의미하며, 이로 인해 새로운 모델 개발의 진입장벽이 낮아졌습니다.
기존에는 복잡한 알고리즘을 개발하고 튜닝하는 것이 AI 개발의 큰 장벽이었습니다. 하지만 이제는 ‘알고리즘 자체는 표준화되고, 데이터를 얼마나 잘 모으고 잘 다루느냐’가 경쟁력의 핵심이 되었습니다. 알고리즘보다 데이터와 미세 조정(Fine-Tuning)이 더 중요한 이유도 여기에 있습니다. 새로운 모델 개발에서의 차별화는 Transformer 구조를 기반으로 한 Fine-Tuning(미세 조정)과 같은 세부 알고리즘에서 이루어지고 있습니다.
예를 들어, ChatGPT는 GPT 모델을 기반으로 인간 피드백 강화 학습(RLHF)을 통해 대화 품질을 크게 개선하였습니다. 또한 Google의 Bard는 ChatGPT와 유사한 Transformer 기반 기술이지만 Google 검색과의 연동을 통해 사용자 맞춤형 정보를 제공하며 차별화하고 있습니다.
최근 LLM은 특정 도메인(의학, 법률, 금융 등)에 특화된 데이터를 추가 학습해 특정 목적에 맞는 모델을 개발하고 있습니다. 이로써 해당 분야에서 차별화된 품질을 제공할 수 있습니다. 의학 특화인 의학 특화 모델인 MedPaLM(Google Health), 법률 특화 모델인 CaseText’s CoCounsel 등이 그 예가 되겠습니다.
이제 알고리즘보다 데이터
AI 기술은 갑자기 나타난 것이 아닙니다. 오랫동안 다양한 기술이 발전해 왔고 최근에는 머신러닝 또는 딥러닝이라는 개념을 잘 활용하는 방향으로 가고 있었습니다. 그리고 알고리즘의 표준화가 이루어지면서 AI 성능의 발전은 이제 알고리즘보다 데이터의 양과 질에 달려 있습니다. 누구나 비슷한 알고리즘으로 모델을 만들 수 있게 되었지만, 어떤 데이터를 얼마나 잘 모으고 다루느냐가 모델의 성능을 결정짓는 새로운 경쟁의 시대가 된 것입니다.
OpenAI는 GPT 시리즈 학습을 위해 인터넷 전반에서 수집한 수백억 개의 문서, 코드, 대화 데이터를 활용해 모델의 언어 이해도와 응답 품질을 높였습니다. Google, Meta 등도 유사한 데이터 접근 방식을 활용하여 자체 LLM을 개발하고 있습니다. 이 방대한 데이터 학습 덕분에 ChatGPT는 마치 사람처럼 자연스럽게 대화하고, 코드 작성과 문서 요약 등 고도화된 작업도 수행할 수 있게 되었습니다.
또한, 현재는 특정 도메인에 특화된 데이터가 AI 모델의 성능을 결정짓는 요소로 떠오르고 있습니다. 예를 들어 의학, 법률, 금융 분야에 특화된 데이터를 추가 학습한 모델들은 해당 분야에서 더욱 정확하고 신뢰성 있는 답변을 제공하며, 일반 LLM과 차별화된 가치를 보여주고 있습니다. Google Health의 MedPaLM, 법률 특화 모델인 CaseText’s CoCounsel 등이 그 예입니다.
학습용 데이터의 확보가 어려운 기업이라도 기존의 Pre-trained 모델(OpenAI, Hugging Face 등)을 Fine-Tuning하여 자체적인 데이터를 활용해 빠르게 경쟁 모델을 개발할 수 있게 되었습니다. 이를 통해 스타트업, 연구자, 개인 개발자까지도 AI 경쟁에 참여할 수 있으며, 특정 도메인에 특화된 맞춤형 모델을 빠르게 배포해 시장에 진입할 수 있습니다.
산업계의 관심과 오픈소스 생태계
AI 모델의 상업적 성공 가능성이 입증되면서, 전 세계 기업들이 LLM에 막대한 투자를 진행하고 있습니다.
Microsoft는 OpenAI에 대규모 투자를 진행하였으며, Google, Amazon 등도 자체 모델 개발에 수십억 달러를 투입하는 중입니다. Hugging Face, Meta의 LLaMA, Stability AI와 같은 오픈소스 프로젝트는 연구자들과 기업들에게 LLM 개발의 진입 장벽을 낮추었습니다.
Hugging Face는 Transformers 라이브러리를 통해 연구자와 개발자가 LLM을 쉽게 활용할 수 있도록 지원합니다. 예를 들면 GPT, BERT, T5 등의 모델을 단 몇 줄의 코드로 불러와 Fine-Tuning이 가능합니다. “AI 민주화의 대표 사례로 손꼽히는 Hugging Face는 2023년 말 기준 10,000개 이상의 기업이 사용 중이며, 120,000개 이상의 프리트레인드 모델과 20,000개 이상의 데이터셋을 보유하고 있습니다.”
Meta의 LLaMA, Stability AI의 다양한 모델들은 누구나 다운로드하여 자체 데이터를 학습시킬 수 있도록 열려 있습니다.
Transformer 기술
하지만 무엇보다도 알고리즘의 표준화를 만든 Transformer 기술이 현 시점의 AI 기술의 만족도를 크게 개선하고 있습니다. Google이 2017년에 발표한 Transformer 논문(Attention is All You Need)은 자연어 처리(NLP) 기술의 기초를 완전히 뒤바꾸었습니다. 이 구조는 이후 GPT(Generative Pre-trained Transformer)와 같은 대규모 언어 모델(LLM)의 기초가 되었고, 학계와 산업계 모두 이를 적극 활용하게 되었습니다.
답변 예측 성능
Transformer 기술은 단순히 텍스트를 처리하는 것을 넘어, 사용자가 원하는 답변을 더욱 정확하게 예측할 수 있는 성능을 제공합니다. 과거의 순차 처리 기반 모델들이 긴 문맥에서 중요한 정보를 놓치거나 문맥 연결이 부자연스러웠던 것과 달리, Transformer는 Self-Attention 메커니즘을 통해 문장 내 단어 간의 관계를 동시에 분석합니다. 이를 통해 사용자의 질문 의도를 더 깊이 이해하고, 맥락에 맞는 답변을 자연스럽게 생성할 수 있도록 한 것입니다.
범용성
Transformer의 가장 큰 강점 중 하나는 바로 그 범용성에 있습니다. 처음에는 자연어 처리(NLP)를 위한 목적으로 개발되었지만, 현재는 이미지 분석, 음성 인식, 추천 시스템, 로봇 제어 등 다양한 분야에서 활용되고 있습니다. 이러한 범용성은 동일한 구조를 기반으로 다양한 데이터 유형을 처리할 수 있도록 해 주며, 여러 산업 분야에서 AI 기술의 적용 가능성을 크게 넓히는 역할을 하고 있습니다.
하드웨어와 클라우드 비용 감소
AI 모델 개발과 학습에 필요한 하드웨어 및 클라우드 비용의 감소 또한 생성형 AI 모델들이 빠르게 고성능으로 등장할 수 있었던 중요한 배경 중 하나입니다. 과거에는 초대규모 모델을 학습시키기 위해 막대한 비용과 물리적 서버 자원이 필요하였지만, 최근에는 GPU, TPU 등 고성능 연산 장비의 발전과 함께 단가가 낮아지면서 접근성이 크게 향상되었습니다.
예를 들어, NVIDIA의 A100, H100과 같은 고성능 GPU는 대규모 데이터셋과 복잡한 모델 구조를 빠르게 학습시킬 수 있도록 최적화되어 있으며, Google Cloud TPU, AWS, Azure와 같은 클라우드 기반 인프라는 초기 투자비용 없이도 필요한 만큼의 컴퓨팅 자원을 즉시 사용할 수 있게 해주었습니다. 이러한 환경 덕분에 스타트업부터 대기업까지 누구나 대규모 모델을 학습하고 배포할 수 있는 기반이 마련된 것입니다.
결국 하드웨어 기술의 발전과 클라우드 비용의 감소는 AI 기술의 민주화를 촉진하여, 더 많은 기업과 개인이 고성능 AI 모델을 실험하고 서비스로 출시할 수 있는 토대를 제공하고 있다고 볼 수 있습니다.
결론: AI 기술의 발전, 그리고 우리의 미래
오늘날 ChatGPT를 비롯한 생성형 AI 모델들이 짧은 시간 안에 경쟁 모델들로 이어질 수 있었던 이유는 Transformer 기반 알고리즘의 표준화, 데이터의 중요성 증가, 산업계와 오픈소스 생태계의 성장에 있습니다. 특히, AI 모델 개발의 진입 장벽이 낮아지면서 이제는 데이터의 품질과 도메인에 맞춘 Fine-Tuning(미세 조정)이 AI 경쟁의 핵심 요소로 자리 잡고 있습니다.
현재 Pre-trained LLM 모델과 오픈소스 생태계를 활용하면, 특정 도메인에 특화된 데이터를 추가 학습하거나, Fine-Tuning을 통해 누구나 AI 서비스를 빠르게 개발할 수 있는 시대가 되었습니다.
스타트업은 클라우드 기반 인프라와 공개된 LLM을 활용해 새로운 서비스를 출시하고,
대기업은 막대한 투자로 데이터를 확보하여 자사의 강점을 AI 기술로 연결하고 있습니다.
이제 AI 기술의 발전은 더 이상 소수 기업만의 전유물이 아닙니다. Hugging Face와 같은 플랫폼 덕분에 연구자나 개발자 누구나 쉽게 LLM 모델을 활용하여 독창적인 아이디어를 구현할 수 있게 되었고, AI 기술은 어쩌면 “민주화(democratization)”의 길로 접어들고 있다고 할 수 있겠습니다.
