1. 터보 퀀트는 메모리 압축기술이다.
2. 압축 기술 덕분에 적은 양의 메모리로도 큰 규모의 LLM을 돌릴 수 있게 되었다.
3. 오래된 GPU들의 VRAM(비디오 메모리)은 용량이 작다.
4. 하지만, 터보 퀀트가 활성화되면, 구형 GPU를 사용하여서도 대형 언어모델을 돌릴 수 있게 된다.
5. 다시 말해, 구형 GPU들의 사용할 수 있는 기간이 늘어난다.
6. 사용 기간이 늘어나면, 데이터센터 운용자들에게 유리해진다.
7. 예컨대, 1억 원짜리 자동차의 내용연수(사용가능 연수)가 5년이라면, 매년 2천만 원씩 5년간 비용처리를 한다.
지금 바로 작가의 멤버십 구독자가 되어
멤버십 특별 연재 콘텐츠를 모두 만나 보세요.
오직 멤버십 구독자만 볼 수 있는,
이 작가의 특별 연재 콘텐츠