챗GPT 내맘에 들게 만들 수 있을까?

OpenAI API를 이용하여 GPT 능력치 테스트하기

Jan Steen, School Teacher (1668)

멋대로 행동하는 챗GPT와 씨름하며 골치를 썩이던 중, GPT 답변 생성 과정의 파라미터(매개변수)를 직접 바꿔 답변 스타일을 내 맘대로 조절할 방법이 있다는 것을 알게 되었다. OpenAI API 플레이그라운드가 바로 그런 도구다. 플레이그라운드 계정을 만들고 홈페이지에 들어가면 질문칸과 답변칸이 있고 그 옆에 여러 매개변수를 직접 조절할 패널이 있어서 변수에 따라 GPT의 답변이 어떻게 달라지는지 직접 볼 수 있다.

나는 처음에 정말 신이 났다. 그렇다면 OpenAI API 플레이그라운드를 이용해 알아낸 변수로 내가 구독하는 챗GPT를 완전히 나에게 맞춤형으로 만들 수 있지 않나? 슬프게도 답은 “아니오”다.

간단히 말하면, GPT는 주어진 입력값에 맞는 답을 찾고, 설정된 매개변수를 이용해 답변 스타일을 생성하는 기계다. 하지만 구독형 대화형 챗GPT 사용자에게는 매개변수 설정 권한이 없다. 그냥 있는 대로 써야 한다. 같은 OpenAI 회사니까 API 변수 가져다 쓰는 것 쯤은 기술적으로는 되지 않을까 내 멋대로 추측했다. 이론은 이론이고 현실은 현실. 안된다.

매개변수 테스트는 API 플레이그라운드에서만 가능하다.

매개변수를 내 마음대로 고치려면 API 플레이그라운드 페이지의 조절패널이나 파이썬 언어(Python coding)를 사용해야 한다. API 서비스를 사용료를 내고 이용하면 한 개의 질문마다 매개변수의 입력값을 마음대로 조절하여 답변의 스타일을 다채롭게 만들 수 있다. 위에서 말했듯 API 플레이그라운드에서 알게 된 최적의 매개변수를 내가 사용하는 대화형 챗GPT에 직접 적용하여 맞춤형 챗GPT를 만들 수 있으면 정말 좋겠지만, 그건 전혀 아니다. 챗GPT 채팅 시스템과 API 플레이그라운드는 완전히 다른 서비스이며, 비용도 따로 낸다.

보통 사람이 API 플레이그라운드를 쓸 일이 있을까?

완전히 특화된 한 개의 질문이 있다면 우리 같은 보통 사람들도 API 플레이그라운드에 접속해 사용료를 내고 매개변수를 조절해 최상의 답을 최적의 스타일로 받아올 수 있다. 또는 파이썬을 다룰 줄 아는 고급 사용자는 Python으로 반복성 대량 작업을 빠르고 자동으로 실행하는 프로그램을 만들 수 있다.

그도 저도 아닌 우리 보통 사용자가 응용할 수 있는 방법은, API 플레이그라운드 웹페이지에서 매개변수 값을 직접 입력하거나 슬라이더로 조절하며 챗GPT가 낼 수 있는 최상의 답과 최하의 답이 무엇인지, 어떤 조합이 가장 훌륭한 답변을 만드는지 실험해 보는 것이다. 즉, 각 변수별로 챗GPT의 최대 능력치를 직접 체험하는 과정이라 할 수 있다.

챗GPT의 능력치를 알아서 무엇하나?

바꿀 수 있는 매개변수의 종류가 많고, 지정할 수 있는 숫자의 범위도 넓으며, 이들이 다양하게 조합되기 때문에 사실상 우리가 조절할 수 있는 범위는 대단히 넓다. 조금만 과장하자면, 챗GPT는 한 개의 질문에 대해 무한히 다채로운 답을 만들 수 있다. 이것이 챗GPT 같은 인공지능의 큰 강점이다.

됐고, 나는 내가 좋아하는 스타일의 답만 얻고 싶다.

우리가 쓰는 대화형 챗GPT는 매개변수를 숫자로 이해하지 못한다. 그러므로 우리가 해야 할 일은 플레이그라운드에서 알아낸 주요 변수들의 숫자 값을 인간 언어의 느낌으로 최대한 변환해 주는 것이다. 이들 숫자와 언어를 매칭하는 데 정해진 답은 없다. 그렇기 때문에 사용자의 경험, 감과 촉이 정말 중요하다. 그래도 몇 가지를 최대한 객관적으로 정리해 보았다.

API 플레이그라운드, 공짜는 아니다.

OpenAI API에서는 플레이그라운드든 파이썬 코딩이든 사용량에 따라 비용을 낸다. 비용 단위는 토큰(Token)인데, 토큰이란 문장을 쪼갠 단어, 조사, 어미 같은 조각 말의 개수다.

폰트 크기에 따라 다르지만, 한글 문서 반 페이지 정도가 약 1000토큰 정도다. 질문과 답변 토큰 수 모두 비용이 부과된다. 질문을 이해하고 답을 만드는 과정 모두 컴퓨터를 사용하기 때문에 이런 가격 정책은 당연하다. 문서 한 페이지 분량의 질문과 답변이면 약 2000토큰이 소요된다.

알뜰하게 쓸 수는 있다.

API플레이그라운드 사용료는 테스트하는 GPT 모델별로 다르다. 다시 말하지만, 내가 구독하는 챗GPT 모델과는 전혀 상관없다. API플레이그라운드 내에서 필요에 따라 모델을 선택하면 된다. 예를 들어, GPT-4o는 100만 토큰당 입력 $5, 출력 $15 정도의 비용이 든다. 모델이 고급일수록 비용이 높지만, 무조건 더 좋은 답변을 내는 것은 아니다. ‘고급’이라는 평가는 속도, 오류 검증 능력, 처리 가능한 데이터 크기 등 여러 요인에 의해 결정된다. 따라서 단순한 작업인 데 괜히 고급 모델을 사용하면 답변 질이나 속도에 큰 차이가 없으면서 비용만 더 많이 들 수 있다. 그러므로 작업 난이도에 맞게 모델을 선택하고, 질문 내 불필요한 반복을 줄이며 간단명료한 언어를 사용하는 습관을 들이면 비용을 상당히 절약할 수 있다.

또한, 도끼자루 썩는 줄 모르고 테스트에 몰입해 너무 많은 토큰을 쓰기 전에, 사용량을 확인하는 Usage 탭을 자주 확인하자.

미래에는 쓰게 될 수도?

API 플레이그라운드 테스트 결과를 챗GPT에 바로 응용할 수 없어 실망했지만, '빠르고 일관된 대량 생산’이 목적이라면 매우 강력한 도구가 될 수 있을 것 같다. 나처럼 GPT를 브레인스토밍과 에디팅 위주로 대화에 쓰는 사람에겐 필요 없는 도구지만, 멀지 않은 미래 AI 시대에 대비하는 차원에서 공부는 계속해볼 생각이다.