AI가 엉뚱한 방향으로 달릴 때

고쳐 쓰는 게 아니라, 방향을 다시 잡는 거다

by 어팀공

잘 짜둔 프롬프트인데, 결과물이 이상하다.

무슨 말인지는 알겠는데, 내가 원하는 게 아니다. 처음부터 다시 쓰자니 아깝고, 그냥 두자니 쓸 수가 없다.


이럴 때 어떻게 해야 할까.


대부분은 두 가지 중 하나를 선택한다.

그냥 결과물을 직접 고치거나, 아니면 처음부터 프롬프트를 다시 쓰거나.

그런데 사실 둘 다 비효율적인 방법이다.


AI와의 대화는 한 번의 입력으로 끝나는 게 아니다.

대화 흐름 안에서 방향을 조금씩 바로잡을 수 있다.


오늘은 그 방법을 얘기해보려 한다.


잘 짠 프롬프트도 빗나갈까

지난 화에서 '앵커 조건'을 얘기했다.

예시를 주고, 출력 형식을 명시하고, 기준 텍스트를 넣어두는 것.


이렇게 하면 결과가 훨씬 안정적으로 수렴한다고 했다.

근데 솔직히 말하면, 그래도 빗나갈 때가 있다.


왜냐하면 프롬프트가 아무리 잘 설계됐어도, AI는 그 안에서 '가장 자연스러운 다음 문장'을 계속 예측하면서 글을 써 내려가기 때문이다.


처음엔 방향이 맞았는데, 어느 순간 조금씩 미끄러지다가 결국 엉뚱한 데서 끝나는 경우가 생긴다.


특히 길이가 긴 결과물일수록, 또는 중간에 복잡한 판단이 필요한 작업일수록 이런 일이 잦다.

그러니까 프롬프트를 잘못 짠 게 아니다.

대화 중에 개입이 필요한 순간이 생기는 건, 구조상 자연스러운 일이다.


먼저 오류 유형부터 파악해야 한다

"이게 아닌 것 같은데"라는 느낌이 들 때, 무작정 "다시 해줘"라고 하면 똑같은 오류가 반복되는 경우가 많다.

왜냐하면 AI는 내가 무엇이 문제라고 느끼는지를 모르기 때문이다.

그러니까 지시를 내리기 전에, 나 스스로 오류의 유형을 먼저 파악해야 한다.


내가 경험상 자주 마주치는 오류는 크게 세 가지다.


첫 번째, 방향 오류.

전체 흐름이나 논지가 내가 의도한 방향과 다른 경우다.

예를 들어 "우리 서비스의 장점을 정리해줘"라고 했는데, AI가 경쟁사와의 비교 분석 방향으로 흘러간 것 같은 상황.


내용 자체는 나쁘지 않지만, 내가 원했던 건 그게 아니다.

이때는 부분을 고치는 게 아니라, 전체 방향을 리셋해야 한다.


두 번째, 초점 오류.

방향은 맞는데, 엉뚱한 부분을 강조하거나 중요하지 않은 내용이 너무 길어진 경우다.

핵심 메시지는 두 줄인데, 배경 설명이 세 단락을 차지하고 있는 식이다.

이때는 구조는 그대로 두고, 강조점만 바꿔달라는 지시가 효과적이다.


세 번째, 형식 오류.

내용은 맞는데, 출력 형태가 내가 원하는 것과 다른 경우다.

글로 써달라고 했는데 표로 정리해줬다거나, 5줄 요약을 원했는데 10줄이 나왔다거나.


이때는 내용에는 손대지 말고, 형식만 바꿔달라고 하면 된다.

오류 유형을 먼저 분류하는 이유는, 그에 맞는 개입 방식이 달라지기 때문이다.


방향이 틀린 건데 형식만 고치라고 하면 당연히 안 된다.

반대로 형식이 문제인데 처음부터 다시 쓰면 시간 낭비다.


진단이 먼저다.


맥락을 리셋하는 방법

방향 오류, 즉 전체 흐름이 다른 방향으로 흘러갔을 때는 맥락 리셋이 필요하다.


많은 사람들이 이럴 때 "처음부터 다시 해줘"라고 한다. 근데 그러면 이전 대화의 맥락이 통째로 사라지는 게 아니다. AI는 여전히 앞선 대화를 기억하고 있고, 거기서 이어서 쓰려는 방향성이 남아 있다.


그러니까 처음부터 다시 쓰는 게 아니라, 방향 기준점을 명확하게 재선언해야 한다.

내가 자주 쓰는 방식은 이렇다.

"지금까지 나온 내용은 잠깐 내려두고, 내가 원하는 방향을 다시 정리할게. 이 기준으로 다시 써줘."

그리고 그 아래에 내가 원하는 방향을 짧고 명확하게 다시 쓴다.


이 말 한 줄이 중요한 이유가 있다.

'지금까지 나온 내용은 잠깐 내려두고'라는 표현이, AI에게 '앞선 흐름에서 벗어나도 된다'허락을 주는 것이기 때문이다.


이게 없으면 AI는 이전 대화 흐름을 유지하려는 경향이 있어서,

방향이 조금씩만 바뀌고 또 비슷한 결과가 나오는 경우가 많다.


실제로 이 방법을 쓰고 나서 결과가 꽤 달라졌다.

예전엔 "이거 다시 써줘"를 세 번, 네 번 반복했는데, '기준 재선언' 방식을 쓰고 나서는 한두 번 안에 원하는 방향으로 수렴하는 경우가 훨씬 많아졌다.


사실 이건 사람 사이의 커뮤니케이션에서도 마찬가지다.

회의 중에 방향이 엇나갔을 때 "잠깐, 우리가 지금 얘기하려는 게 이게 맞아?"라고 한 번 정리해주면 흐름이 달라지는 것처럼.


부분 수정 지시범위를 먼저 잘라야 한다

초점 오류나 형식 오류라면, 전체를 뒤엎을 필요 없이 부분만 고치면 된다.


그런데 이때 자주 하는 실수가 있다.

"이 부분 좀 더 강조해줘", "여기를 짧게 줄여줘" 같은 식으로 막연하게 지시하는 것이다.


AI는 '이 부분'이 어딘지, '여기'가 어딘지 정확히 알지 못할 때가 많다.

그래서 엉뚱한 부분을 고치거나, 고치면서 다른 부분을 건드려버리는 일이 생긴다.

부분 수정 지시는 반드시 범위를 먼저 잘라야 한다.


내가 쓰는 방식은 이렇다.

"방금 결과물에서 두 번째 단락만 다시 써줘. 나머지는 그대로 두고."

또는

"'배경 설명' 부분만 두 줄로 줄여줘. 이후 내용은 건드리지 마."

범위를 명시하면 AI가 어디서 어디까지만 수정해야 하는지 알 수 있다.

그리고 "나머지는 그대로"라는 조건을 함께 붙이면, 다른 부분이 의도치 않게 바뀌는 것도 막을 수 있다.


단락 번호를 활용하는 것도 좋은 방법이다.

긴 결과물이 나왔을 때, "1번 단락 요약해줘" 식으로 번호를 쓰면 훨씬 정확하게 범위를 지정할 수 있다.


물론 AI가 내 나름의 번호 기준을 알 리는 없으니,

"지금부터 방금 결과물의 각 단락에 1, 2, 3번을 붙일게"라고 먼저 선언하고 쓰는 게 좋다.


이게 번거로워 보일 수 있는데, 실제로 해보면 수정 라운드가 훨씬 줄어든다.


세 가지 개입법을 함께 쓸 때

오류 유형 파악 → 맥락 리셋 → 부분 수정 지시.

이 세 가지를 각각 상황에 맞게 쓰면 되는데, 때로는 조합이 필요하기도 하다.


예를 들어, 결과물의 전체 방향은 맞는데 서론 부분이 너무 늘어졌고 결론의 형식도 다르게 해야 할 때.

이럴 때는 맥락을 전체 리셋하는 게 아니라, 특정 범위에 대해서만 부분 재지시를 하면 된다.

"전체 흐름과 핵심 내용은 유지해줘.
서론을 세 줄로 줄이고, 결론은 '독자가 내일 할 수 있는 행동' 한 줄로 마무리해줘."

이렇게 하면 전체를 다시 쓰지 않고도 내가 원하는 방향으로 빠르게 수렴할 수 있다.


이 방식을 쓰면서 생긴 가장 큰 변화는, AI와의 작업을 '주문 → 결과' 방식이 아니라 '초고 → 조율 → 완성'의 과정으로 보게 됐다는 거다.


처음 결과물이 완벽하길 기대하는 게 아니라, 방향이 크게 엇나가지 않으면 일단 좋다고 본다.

그리고 나서 어떤 부분이 빗나갔는지 파악하고, 그에 맞는 개입을 한 번씩 하다 보면 생각보다 빠르게 원하는 결과물이 나온다.


개입 타이밍도 연습이다

한 가지 더 얘기하고 싶은 건, 개입 타이밍이다.


많은 사람들이 결과물을 끝까지 다 읽고 나서야 "아, 이게 아닌데"를 깨닫는다.

그리고 그때서야 처음으로 돌아간다.


근데 사실 AI가 방향을 잃기 시작하는 지점은 꽤 이른 경우가 많다.

서론에서 이미 다른 방향으로 흘러가고 있는데, 끝까지 읽고 나서 전부를 버리는 식이다.


나는 긴 결과물을 받으면, 다 읽기 전에 중간 지점에서 한 번 끊어서 확인하는 습관이 생겼다.


"여기까지 읽었는데, 내가 원하는 흐름이랑 다른 것 같아.

지금 이 방향으로 계속 가면 어떻게 될지 두 줄로 요약해줘."


이렇게 하면 끝까지 가기 전에 방향이 맞는지 중간 점검이 가능하다.


시간도 훨씬 절약된다.


중간 점검이 익숙해지면, 처음부터 짧은 단위로 결과물을 요청하는 방식도 자연스럽게 생기게 된다.

"서론만 먼저 써줘, 방향 맞으면 이어서 써줄게" 식으로.


오늘부터 써먹는 한 줄 액션

AI 결과물이 빗나갔다 싶을 때, 바로 '다시 써줘'를 치기 전에 딱 한 가지만 먼저 해보자.

"방향 오류인지, 초점 오류인지, 형식 오류인지 - 셋 중 뭔지 먼저 정하고 지시한다."


진단이 먼저다. 그 다음 개입이다.


다음 화에서는, 그렇다면 AI 시대의 기획자의 역할은 무엇일까? 라는 주제를 다뤄볼 예정이다.


#AI활용법 #프롬프트엔지니어링 #기획자 #직장인AI #업무효율 #AI글쓰기 #생성AI #ChatGPT활용 #클로드 #브런치작가

월, 화, 수, 목, 금, 토, 일 연재
이전 06화AI가 오늘은 이렇고 내일은 저런 이유