ChatGPT API 사용 중간 후기

말 좀 들어주세요 GPT님

ChatGPT API가 나온 후 평소에 만들어보고 싶었던 프로덕트를 빠르게 짜보고 있다. 지금 만들고 있는 앱의 이름은 'GPT Adventure'로, 선택지를 눌러서 스토리를 진행하는 간단한 서비스이다.

Flutter is goat.

룰을 정하고, 테마만 정하면 금방 만들 줄 알았는데, 역시 0에서 80까지는 금방 간다. 80에서 90으로 올리는 데에 아주 짜증나는 문제점들에 봉착했다.

1. 너무 대충 쓴다.

지금 테스트로 만들고 있는 건 '뭔가 어두운 비밀이 있는 왕국에 살고 있는, 언젠가는 지배자가 되기를 꿈꾸는 토마스'의 이야기이다. 근데 GPT는 그 자체로는 그렇게 대단한 작가가 아니고 알잘딱깔센하지도 못하다. 프롬프트를 대충 주면 온 세상에 있는 진짜 클리셰를 나무위키로 학습한 것 같은 플롯을 만들어 내고, 너무 자세히 주면 안 중요할 것 같은 조건들은 알아서 까먹는다. 재미는 디테일에서 나오는데 말이다.

덕분에 '한 단계 한 단계씩 진행시켜라', '디테일을 살려라' 같은 잔소리를 프롬프트에 넣어야 했다. 그래도 말을 잘 안듣는다.

2. 포맷을 안 지킨다.

ChatGPT API를 사용한다는 것은 AI as a backend를 사용한다는 것과 같다. 어쨌든 백엔드로 사용한다는 것이고, 백엔드와 프론트엔드가 서로 정보를 주고 받으려면 데이터의 형식이 서로 맞아야 한다. 근데 JSON으로 이런이런 key에 대한 value를 적어줘~ 라고 해두면, 내용이 조금만 복잡해지면 자기 멋대로 형식을 바꿔버린다. 

해외에서도 이것 때문에 많은 사람들이 나름의 훈육법을 테스트해보고 공윻

3. 토큰 제한이 빡빡하다.

한 번 질문할 때 질문의 길이 제한은 4096토큰이다. 대충 1000토큰에 영단어 750개 정도고 $0.002 정도 비용이 든다. 문제는 API를 사용할 때는 이전 대화내역도 같이 넣어줘야 한다는 것이다. 그래서 스토리가 진행될 수록 질문의 길이가 늘어난다. 지금 이것 때문에 내용 요약 요약 요약을 해서 그나마 줄였더니 기본 세팅에 1000 토큰 정도가 들어가고, 대화 한 턴 주고 받을 때마다 100~300 토큰씩 늘어난다. 대충 15턴 정도가 한계라 대서사시는 못쓴다. 울프람알파에게 계산을 시켜보니

한 게임 하면 대충 0.078달러+a가 서버비로 나올 거란다. 1300원 환율 적용하면 100원 좀 넘는다. 아니 이거 광고로 충당 안될 것 같은데...

어쨌든 연구를 해보면서 이런저런 시도를 통해 조금씩 개선이 되고는 있어서, 90정도 완성이 된 것 같으면 릴리즈를 해보고 더 생각해봐야겠다.