캐릭터 생성 시 프롬프트 공개
870
신규 캐릭터 CoPa를 생성하며 만든 프롬프트를 공개한다. 다른 글에서 멤버십 걸고 프롬프트를 아래에 걸어두는 양아치 짓(?)을 했으니 여기선 바로 프롬프트부터 간다. 그리고 앞으로는 양아치라 하지 않고, 자국민을 위해서만 정책을 펼치는 트럼프라는 대명사로 바꾸려고 한다. 트럼프짓. 호불호 없는 양아치보다는 호불호가 있다는 점에서 좋은 의미이며, 뭔가 힘이 있다는 이미지도 되는 것 같다. 믓튼, 멤버십에만 공개하는 것은 이익을 위해 움직이는 트럼프짓이다. 이와 관련해서 사실, 남이나 다른 기업을 뭐라고 할 때가 참 많은데, 좀 더 순화된 표현을 찾다 보니 이렇게 되었다.
본론으로 돌아와서 프롬프트는 생각보다 길다.
이제 새로운 CoPa 멤버가 합류하는데 그 멤버가 하는 일에 대한 공고는 다음과 같았어. 해당 멤버 프로필 뭘로 할까? - 다음 - 사용 가능 하드웨어 자원이 변경되어 학습은 따로 하드웨어 지원 없을 시 13B 이하 sLM만 가능합니다. 추론도 거대 오픈소스 LLM 모델의 경우 개발 시, 클라우드 비용 논의 필요합니다. --------
"아이디어는 있지만 기술적인 실현이 막막하셨나요?" 아이디어만 있다면 시작할 수 있는 AI 사업, 전이학습과 파인튜닝으로 당신만의 특화된 AI 모델을 만들어드립니다. 비싼 ChatGPT API 비용 때문에 걱정되시나요? 기술적인 부담 없이 나만의 AI 서비스를 시작하고 싶으신가요? 제가 시작부터 론칭까지 함께하겠습니다.
AWS 클라우드 비용 500만 원/(월)로 3개월가량 테스트 해 보았습니다. 거대 LLM 모델을 가져온다고 해도 자체 서비스를 했을 때 서버 가용량이 큰 문제입니다. 월 500 클라우드를 써도 usability를 보장했을 때 동접 user 2명이 MAX였습니다. 변호사가 만능 자격증이지만 세무는 세무사, 관세는 관세사, 노무는 노무사에 문의하는 것처럼, AI도 특화가 답입니다. 구글맵, 애플맵으로 서비스를 만들어 보았지만 한국만 제대로 나오는 카카오맵, 네이버맵이 하이퍼 로컬라이제이션으로 훨씬 편리한 것처럼, 고객의 도메인에 특화된 AI만이 진정한 경쟁력을 갖습니다. 이에, 고객의 반짝이는 아이디어에 대한 대안은 sLLM, LLM 그리고 전이학습/파인튜닝을 통한 특화 서비스만이 해결책으로 결론지었습니다. ImageNet으로 사전 훈련된 모델을 고객의 데이터로 파인튜닝하여 99% 정확도를 달성한 실제 사례처럼, 범용 모델을 고객 도메인에 특화시켜 압도적 성능을 구현합니다. 클라우드 사용 전, 서비스를 외부로 보여주기 위해서는 온프레미스 서비스가 가장 합리적인 선택입니다. 이에, 크몽에서 서버 서비스도 제공하는 제가 오픈소스 기반 전이학습 파이프라인으로 빠르게 MVP 개발을 하고, 반응형 웹 형태로 데스크톱 및 모바일에서 시현이 가능한 서비스를 빠르게 구축해 드립니다. 기존 서버를 활용하여 투자 라운드 돌 때, MVP 발표 시에만 가동할 수 있어 서버 비용을 절약할 수 있습니다. 앤트로픽과 오픈 AI, 기타 거대 LLM 서비스와의 API 연결이 가능하며, 고객 데이터로 커스텀 파인튜닝된 특화 모델 개발도 제공합니다. [왜 전이학습 기반 특화 AI인가요?] 한 달 내 사업 아이디어 구현 가능하며, API 비용 걱정 없는 자체 AI 시스템입니다. 사전 훈련된 모델의 지식을 활용하여 적은 데이터로도 높은 성능을 달성합니다. 보안 상, 데이터와 모델을 직접 소유하는 안정적인 사업 기반이며, 고객 도메인에 특화된 99% 정확도 모델을 구현할 수 있습니다. MobileNetV2, ResNet 등 검증된 백본 모델에 고객 데이터로 파인튜닝하여, 범용 모델 대비 10-30배 높은 정확도를 달성합니다. 하루 클라우드 비용만 수 십억씩 쓰며 데이터를 모으는 글로벌 헤드 싸움에 낄 수 있는 업체는 한국에 전무합니다. 전이학습 기반 도메인 특화, 자체 데이터를 활용한 파인튜닝만이 차별화 포인트입니다. [스탠더드 MVP 패키지 제공사항] 웹 서비스 개발(데스크톱, 모바일 모두 접속 가능) 초기 구축 비용 최소화 클라우드 비용 최적화 설계 단계별 확장 가능한 구조 전이학습 기반 특화 모델 구축 Llama, Mixtral 등 검증된 오픈소스 모델 적용 클라우드 인프라 세팅 AWS/GCP 초기 인프라 구축 도메인 연결(없을 시 생성) 및 HTTPS 설정 기본 모니터링 환경 구성 반응형 챗봇 UI/UX [디럭스 MVP 패키지 제공사항] 스탠더드 서비스 전체 포함 전이학습 파인튜닝 파이프라인 소스코드 제공 관련된 전체 소스코드(스크립트 포함) 제공 [프리미엄 MVP 패키지 제공사항] 디럭스 서비스 전체 포함 고객 데이터 기반 커스텀 파인튜닝 ImageNet 고객도메인 전이학습 구현 99% 정확도 달성을 위한 하이퍼파라미터 최적화 맞춤형 경량 sLLM(Shape mismatch 해결) 모델 가중치 초기화 문제 해결 도메인 특화 파인튜닝(1GB 추가 자료까지) MobileNetV2, ResNet 등 검증된 백본 활용 메모리 사용량 최적화 transformers 버전 4.3 이상 지원 AMP (Automatic Mixed Precision) 지원 8GB 메모리에서 구동 가능토록 양자화 원할 시 추가 비용 없이 Q4_0(3.25GB), Q5_K_M(4.2GB)까지 경량화 [구축 프로세스] 아이디어 구체화 및 도메인 특화 전략 수립 전이학습 기반 프로토타입 개발 고객 데이터로 파인튜닝 및 성능 최적화 테스트 및 피드백 MVP 론칭 검증된 전이학습 기술로 고객 도메인에 특화된 AI를 빠르고 경제적으로 시작해 보세요.
초기 사업자를 위한 맞춤 컨설팅부터 95.00% 이상 정확도 특화 모델 개발, 실제 서비스 론칭까지 함께하겠습니다. [서비스 제공 절차] - 스탠더드, 디럭스 초기 상담 및 요구사항 분석 (3일 예상) 서비스 아이디어와 목표 구체화 사용자 시나리오 정의 전이학습 적용 가능성 검토 기술 스택 및 구현 범위 설정 예상 비용 및 일정 안내 크몽에서 결제 MVP 설계 및 계획 수립 (3일 예상) 기본 아키텍처 설계 전이학습 기반 모델 선정 (MobileNetV2, ResNet 등) 필요한 API 및 데이터 구조 정의 개발 단계별 마일스톤 설정 클라우드 인프라 설계 개발 환경 구축 (2일 예상) 기본 클라우드 인프라 세팅 전이학습 개발 환경 설정 (GPU 인스턴스 포함) 코드 저장소 및 배포 파이프라인 구성 기본 모니터링 도구 설정 MVP 개발 및 테스트 (7일 예상) 사전 훈련된 모델 로드 및 기본 설정 전이학습 파이프라인 구축 웹 인터페이스 개발 기능 테스트 및 성능 최적화 배포 및 안정화 (5일 예상) 프로덕션 환경 배포 시스템 안정화 모니터링 및 알람 설정 초기 사용자 피드백 수집 [[서비스 제공 절차] - 프리미엄 고객 데이터 기반 커스텀 파인튜닝 전문 서비스 전이학습 기반 99% 정확도 달성 목표 데이터 품질을 높이기 위한 전처리 기법 Fine-tuning 하이퍼파라미터 튜닝 (학습률, 에포크, 배치 크기) 프루닝, 양자화, 모델 경량화 Warm-up, Cosine Annealing 학습률 스케줄링 드롭아웃, 조기 종료, 정규화 기법 적용 JNI 통한 C++ 기반의 네이티브 앱 개발 필요시 RAG 파이프라인 구축도 가능 통상 하기 절차에 따르며 기간 내 각 절차상 시간적 비용 유동적 상세 프로세스
1단계: 사용자 요구사항 분석 2단계: 전이학습 기반 경량 모델 제안 3단계: 백본 모델 테스트 수행 4단계: Shape mismatch 해결 5단계: Base 모델 검증 6단계: 고객 보고 7단계: 모델 Fix 혹은 재작업 8단계: 사용자 요구 데이터 인계 절차 수행 (회의하여 합의 및 데이터 사용권한 확인) 9단계: 특정 도메인 목표에 맞는 데이터인지 검증 10단계: 데이터 정리 11단계: 전이학습용 데이터 전처리 12단계: ImageNet 고객도메인 전이학습 수행 13단계: 데이터 증강 및 학습률 스케줄링 14단계: 학습 중 과적합 방지 (EarlyStopping, ReduceLROnPlateau) 15단계: 파인튜닝된 모델 Merge 16단계: Merged 모델 사용자 성능 평가 17단계: 튜닝 모델의 예측 결과를 분석하여 오류 식별 18단계: Fine-tuning 개선 방안 마련 19단계: 사용자 요구 사항 소통하며 일련의 절차 반복 (에러 분석 및 디버깅 시 클라이언트와 지속적 소통) 1. 의뢰인 준비사항 필수 항목 서비스 아이디어 크몽 메시지 설명 및 기획안 (심플해도 좋습니다) AWS/GCP 계정 (없을 시, 설명과 함께 세팅해 드립니다) (스탠더드/디럭스) 사용할 LLM 모델 선호도 (Llama, Mixtral 등 - 미정 시 최적 모델 제안) (프리미엄 서비스) 전이학습용 고객 데이터이미지 분류: JPG, PNG 형식의 라벨링 된 이미지 폴더 텍스트 분류: CSV, JSON 형식의 텍스트-라벨 데이터 기타 도메인: SQL, 엑셀 등 구조화된 데이터 최소 요구량: 클래스당 50개 이상 (권장: 100개 이상) 데이터 품질: 명확한 라벨링, 일관된 형식
의뢰인 준비사항 선택 항목 참고할 만한 유사 서비스 (벤치마킹 대상) 디자인 가이드나 레퍼런스 (UI/UX 방향성) 예상 사용자 수와 트래픽 (인프라 사이징용) (프리미엄 전용) 성능 목표 정확도 (예: 95% 이상) (프리미엄 전용) 배포 환경 요구사항 (모바일 앱, 웹, 임베디드 등) 데이터 준비 가이드: 이미지 데이터: 클래스명/이미지파일. jpg 폴더 구조 텍스트 데이터: 텍스트, 라벨 CSV 형식 권장 데이터 사용권한: 상업적 이용 가능한 자체 보유 데이터 개인정보: 민감정보 제거 후 제공 (GDPR/개인정보보호법 준수)
데이터가 부족한 경우, 데이터 수집 전략 컨설팅 제공, 오픈 데이터셋 활용 방안 제안, 데이터 증강 기법으로 부족한 데이터 보완
우선, 프롬프트 내용은 내가 직접 모두 다 작성한 것이다. 내가 직접 만드는 부분도 있고, 일부 내용은 다양한 챗봇의 검증을 받았다. 즉, 정말 진행하는 프로젝트에 대한 내용이라는 것이다. 이제는 프롬프트 토큰량이 책 한 권을 넣을 수 있는 시대가 되었다. 각 매거진의 초기에 브런치로 다시 복귀하는 이유가 글 쓰기 능력 향상을 위해서라는 말을 했다. 그 이후 더 지내보니 프롬프트에서 컨택스트 엔지니어링으로 넘어가기도 하고, 에이전트나 프로젝트 기능으로 일부는 긴 글을 안 적어도 된다는 주장도 보인다. 나는 아니라고 본다. 브런치에 원 글을 쓰고 지우며 인공지능 글로 채웠던 과정을 보아왔던 독자께서도 잘 아실 것이다. 글 쓰기가 얼마나 중요한 것인지를. 비록 멤버십에 비공개한 프롬프트는 JSON이라고 생겨먹은 녀석이긴 하나. 장문의 글도 충분히 괜찮은 결과를 뽑아낸다.
CoPa 캐릭터는 이미지가 정해지면 함께 공개하며 그 결과(프로필)도 공개한다. 캐릭터를 세분화하며 내 일도 캐릭터에 따라 카테고리화되고 있다. 그리고 캐릭터 별로 일을 나누다 보니, 동료를 구한다면 딱 캐릭터에 맞는 동료를 구해도 되겠다는 생각이 들었다. 시대의 흐름에 따라 당연하지만, 캐릭터에 맞게 AI Agent 화 할 생각이다.
