내 글 문맥에 따라 AI 성능이 달라져요?
아마 AI 쓰시다 보면 그런 순간이 있을 겁니다.
같은 질문은 해도 어떤 말은 알아먹고 어떤 말은 못 알아먹는 경우요, 이전글에도 예시로 보여드렸습니다만 실제로 문법 이후의 문제로 순서나 배치 문장에 따라 인식되는 정도가 달라집니다.
여러 이유가 있겠지만, 한국어의 특수성 때문이기도 한데요, 이런 경우 영어로 작성하시면 효율성이 꽤나 올라감을 직관적으로 느끼기는 합니다만, 사실 그 이전의 문제이기도 합니다. 영어로 써도 배치가 이상하면 못 알아먹는 경우가 있어요.
최근에 나온 이야기지만, OPEN AI에서도 GPT4.5로 작업지시를 해서 프롬프트 작성해 O3나 O1에게 작업을 주는 방식을 추천하고 있으니 말을 잘하는 모델과 언어모델을 구분해서 제대로 써먹으려면 결국은 이러한 규칙을 이해해야 하는 겁니다.
오케이 그건 그렇다 치더라도, 프롬프트에 순서가 GPT인식에 미치는 영향이 뭘까 순서만 바꿨는데 이해를 못 하는 이유가 뭘까요?
이전글에서는 문법을 봤으니 이번글에서는 문맥 이야기를 해보죠
이에 대해 논하기 위해서는 먼저 AI의 특징에 대해 이야기해야 합니다. 우선 잘 모르겠으니 GPT에게 물어보자고요
프롬프트에 순서가 GPT인식에 미치는 영향이 뭘까 순서만 바꿨는데 이해를 못 하던데?
Transformer 아키텍처와 positional encoding??
말은 복잡해 보이지만 이론은 단순합니다. 맥락을 재구성해서 기계적인 언어로 고쳐주는 녀석이에요
조금 복잡해 보이지만 간단히 말하면. 결국 언어를 인식은 모델이니 인식하게 좋게 가공해 줘야 한다 정해주면 된다가 핵심이죠. 즉 효율적으로 써줄 필요성이 있다는 거죠
오케이 기계가 이해하기 쉽게 쓴다 이해했어 그렇다면 어떻게 써야 할까요?
명령 및 정보 우선순위 결정
프롬프트 내 명령어나 설명, 예시의 순서는 모델이 어떤 정보를 우선적으로 참조할지를 결정하는 역할을 합니다. 한마디로 핵심명령을 정하는 거예요
이전에 비슷한 글을 여러 번 올리게 되지만 샘알트만이 추천한 프롬프트를 저렇게 쓰는 이유가 다 있습니다.
GPT가 인식하는 문맥은 사람과는 조금 다릅니다. 초반에 핵심적으로 따라야 하는 지표를 확인한 후 지속적으로 그에 따라 확률론으로 해석해 나가는 방식이죠
쉽게 말하면 몇몇 가지 목표를 최우선순위로 두고 글을 해석합니다. 그러다 보니 긴 글을 생성하거나 해석하게 한다면 핵심을 제대로 못 읽어 내거나 오류가 나는 거고요, 인간이 인식하는 것과는 간극이 있다는 거예요
실제로 순서 변경 시, 동일한 정보라도 앞부분에 배치된 내용은 후속 내용보다 더 큰 영향을 미칠 수 있고 이에 핵심적인 목표를 전반부에 배치해라가 해심인 거죠
그래서 대다수의 프롬프트에서 최우선적으로 GPT의 역할과 목표를 설정하는 방식으로 진행이 되는 겁니다.
맥락 재구성과 응답 생성
GPT는 전체 프롬프트를 하나의 연속된 문맥으로 인식합니다. 그러니까 쉽게 말하면 줄 바꿈이 의미가 없다는 거예요 그래서 아예 따로 "-"와 같은 문자를 사용해서 표기해 줘야 하죠
거기에 프롬프트의 순서가 변경되면, 정보의 연결 구조가 달라져 응답의 논리적 흐름에 영향을 줄 수 있는데, 결국은 구조가 잘 짜인 글이 아니라면 오류가 나는 경우가 많은 거예요
소위 말하는 두괄식이 중요하다는 이 유이입니다. 심지어는 중요성이 떨어진다고 판단한 명령들은 무시하게 되는 경우도 생기니 결국 중요한 명령은 따로 체크해야 하는 거예요
제가 다음 글을 쓰기 위해 준비하고 있는 프롬프트를 먼저 보면서 설명해 보죠
당신은 [메인테마]를 주제로 글을 쓰는 작가입니다.
다음 주어진 지침에 따라 글을 분석해 주세요
-주어진 텍스트를 참조하여 언어 스타일과 문체를 분석해
-스타일이 유사한글을 작성할 예정이니 참조 가능한 형태로 분석해
참조 텍스트 : [참조할 텍스트 내용]
왜 반말로 쓰냐고요? 이거 생각보다 핵심적인 건데 보통 GPT는 한국어를 영어로 번역해서 질문을 던집니다.
-스타일이 유사한글을 작성할 예정이니 참조 가능한 형태로 분석해
-스타일이 유사한글을 작성할 예정이니 참조 가능한 형태로 분석하십시오
두 문장 번역해 봐
두 문장을 번역을 시키면 아래와 같은 형태로 인식한다 하고 생각해 볼까요?
비격식체 (Informal):
"I'm planning to write text in a similar style, so analyze it in a form that can be referenced."
격식체 (Formal):
"I'm planning to write text in a similar style, so please analyze it in a form that can be referenced."
고작해야 please 하나인데 뭐 얼마나 달라진다고 그러냐, 틀린 말씀은 아닙니다. 사용하시는 프롬프트가 짧다면요.
그러나 AI를 제대로 사용하기 위한 프롬프트는 앞으로 점점 길어질 수밖에 없습니다. 그만큼 길어질수록 오류의 확률도 기하급수적으로 상승기에, 이는 필연적인 세금이고요 결국 확률을 최대한 줄이기 위한 하나의 노력이구나로 이해해 주시면 되겠습니다.
자 이제 문맥과 기초는 다 닦았습니다. 우리 그럼 제대로 된 글작성 파트로 넘어가 봅시다.
