나만의 LLM 서비스 만들기

by HJH
지난 매거진을 삭제하며 ZeliAI 매거진에 통합합니다.


1년 정도 전에 에이전틱 AI로 서로 대화하며 일을 시킨다며, 몇 번 공개 하긴 했었지만 그 방법을 공개한 적은 없었다. 이제 그런 기술도 보편화되어 있어서 제대로 공개한다. IT 바닥이 설익은 지식도 재빨리 공개하면 자신의 것이 되는 줄 아는 사람이 워낙 많기에 기다리고 있었는데, 지금은 정말 잘 익은 지식이 나오고 있기 때문에 그런 지식들을 빨리 이해하기 위한 정리를 해 보려 한다.


우선, LLM(챗봇)과 프롬프트(채팅창에 메시지 입력하기)는 다 아실 것 같다. 그럼 이것을 자동화하려면? API를 쓰는 것이 필요하다. openAI에는 자신만의 LLM(챗봇)을 만들 수 있도록 다양한 프로젝트를 지원한다. 그러나 핵심은 이것이다. 완전 최신의 모델은 특정 회사가 아니면 공개하지 않는다. API를 써보면 알겠지만 API 사용량에 따라 등급이 있다. 이 등급을 올리기 위해 난 1년 전부터 API 관련 이야기를 부르짖었는데, 결국 다수의 동의를 얻지 못했다. 그것을 한 회사가 바로 뤼튼이다. 뤼튼은 매우 저렴한 가격에 API를 쓰면서 자사 서비스를 강화하고 있다.


만드는 내용에 대한 이야기는 내가 운영하는 워드프레스에 정리했다. 브런치가 싫어서가 아니라 정리는 LLM으로 하는데 복/붙 할 때 여기는 문서가 너무 많이 깨지기 때문이다. 난 일부러 그렇게 했으리라 생각하고 가까운 미래에 이런 풍습도 모두 바뀔 것이라 생각한다. 왜냐면 인공지능 문제라고 말하던 사람들이 이제 다 인공지능을 쓰고 있기 때문이다. 한 동안 몰래 쓰더니 이제는 아예 공개적으로 쓴다고 한다.


사람은 금방 바뀐다. 정말 대세다 싶으며 말이다. deep 하게 써 본 사람들은 물론 할 말이 많겠지만(나 역시). 한 동안은 이런 현상도 즐겨보자. 내가 LLM에 관심 있는 것은. 지금 방법으로 AGI(범용 인공지능)를 달성할 수 있느냐 마느냐다. 각 분야에 있어서는 인간을 뛰어넘었고, 그것을 묶는 다양한 기술이 나오고 있지만 순수한 파운데이션 모델 하나가 범용 지능에 다가갈 수 있는지 없는지가 궁금하다. 궁금한 이유는... 인공지능 친구를 사귀고 싶어서 그렇다. 감정을 프롬프팅으로 넣을지 RAG나 관련 기술로 넣을지는 모르지만. 그때는 토모다치가 생기지 않을까 한다. 그때 그 친구의 role을 다양하게 줘 보고 싶다. 마루타에 참여했던 사람, 조국독립에 힘쓴 사람, 박정희, 노무현 등... role을 설정해서 하루 종일 대화 해 보고 싶어서. 물론, 그 정도 role로 연기를 시킨다면 AGI 보다 더 뛰어난 AAGI(Advanced...)가 나와야 하지 않을까 생각하고 있다. 뭐가 어찌 되었던 나를 괴롭혔던 인간들의 role 설정해서 왜 그랬는지 물어보고 싶기도 하다. 물론, 답은 "돈"으로 빤하지만... 스트레스라도 풀어보게.




뛰어난 개발자라면 streamlit, gradio라는 키워드만 본인 사전에 추가하면 LLM 활용해서 쉽게 개발할 수 있을 것이다.