AI 말고 차라리 DB를 붙여라
AI를 도입하는 것은 항상 최상의 선택은 아니다.
AI의 API 비용이 상당한 논란을 불러일으키고 있다.
대형언어모델(LLM)을 기반으로 한 인공지능(AI) 서비스의 월 비용이 5400달러에 달한다는 사실은 많은 기업과 개발자들에게 충격적일 수 있다. 이 가격은 독자적으로 LLM을 구축하고 호스팅하는 것보다는 경제적으로 이득이 있어 보인다. 그러나 이는 결코 간단한 결정이 아니다.
예를 들어, 아마존 웹 서비스(AWS)의 오픈 소스 LLM을 기반으로 한 모델을 사용하는 경우, 미세조정에 필요한 예상 비용은 하루에 약 67달러로, 이는 초기에는 큰 부담이 되지 않을 수 있다. 그러나 모델을 배포하고 요청에 응답하기 위해 추가 메모리 비용이 필요하며, 이러한 부가 비용은 종종 간과되곤 한다.
또한, 오픈AI의 GPT-3.5 터보를 사용하는 경우에도 비슷한 비용이 발생한다. 그러나 오픈AI의 가격 정책은 미세조정 비용이 훈련 시간이 아니라 미세조정 데이터 양에 따라 결정되며, 이는 사용자에게 예측할 수 없는 요소를 추가한다.
물론 독자적인 모델을 개발하여 서비스를 제공하는 것은 데이터 및 사용량에 대한 통제력을 유지하는 장점이 있다. 그러나 이는 더 많은 추가 비용과 노력을 요구한다. 인력 및 유지 관리 비용은 물론이고, 사용자 요청을 처리하기 위한 인프라 구축 비용도 고려되어야 한다.
이러한 상황에서 API를 사용하는 것이 여전히 가장 간편한 해결책으로 여겨졌다. 그러나 이것은 언제나 올바른 선택이 아닐 수 있다. 종량제 요금 체계는 사용량에 따라 가격이 변동하므로 예상치 못한 비용 부담이 발생생한다. 또한, 오픈AI와 AWS의 가격 정책이 다르기 때문에 비용을 정확히 비교하는 것은 어려울 수 있다. AWS는 시간당 컴퓨팅 비용을 기준으로 하지만, 오픈AI는 미세조정 데이터 양에 따라 가격이 책정되기 때문이다. 이 때문에 청구금 폭탄으로 런웨이가 단축된 AI 스타트업이 늘고 있다.
많은 스타트업 서비스들이 AI를 걷어내기 시작했다. 높은 사용료가 가장 큰 이유지만, 무엇보다 기존 DB를 대신하여 사용할 이유를 찾지 못했기 때문이다. 같은 "예"라는 응답을 얻기 위해, 엉뚱한 답변이 나올 수 있는 AI에 돈과 시간을 걸 이유가 없기 때문이다.
결국, AI가 아니라 데이터베이스를 사용하는 것이 더 나은 선택일 수 있다. AI가 마케팅적으로 반드시 필요한 키워드가 아니라면, AI를 도입하기 전에 기업은 데이터베이스의 활용을 우선 고려해야 한다.
