AI의 실수를 제대로 고치는 피드백의 기술
"아니, 이거 아닌데."
AI한테 결과물을 받아보고 이 말을 안 해본 사람은 없을 거다.
보고서를 요청했는데 방향이 완전히 다르게 나왔거나, 데이터를 정리해달라고 했는데 엉뚱한 기준으로 분류해놓거나.
그래서 우리는 습관처럼 이렇게 말한다.
"다시 해줘."
그런데 이상한 게 있다.
'다시 해줘'라고 했는데, AI가 거의 똑같은 걸 다시 내놓는 경험. 해본 적 있지 않은가?
아니면 고치긴 고쳤는데, 이번엔 또 다른 곳이 이상해진 경험.
나는 이런 일을 수도 없이 겪었다.
결론부터 말하면, AI한테 '틀렸어'라고 말하는 것도 기술이다.
그리고 이 기술의 차이가, 같은 AI를 쓰면서도 결과물의 품질을 완전히 다르게 만든다.
솔직히 말하면, 우리가 사람한테도 피드백을 잘 못한다.
팀장님이 "이거 좀 다시 해와"라고 말하면, 우리도 속으로 '어디가 문제라는 거지?' 하면서 답답했던 기억이 있을 거다.
그런데 정작 AI한테는 우리가 그 팀장님이 된다.
"아닌데, 다시 해줘." 이게 끝이다.
사람이라면 맥락을 읽고, 표정을 보고, 이전 대화를 기억해서 어떻게든 의도를 추측한다.
하지만 AI는 그렇게 작동하지 않는다.
AI는 우리가 말한 그대로만 받아들인다. '다시 해줘'라는 말에는 정보가 없다.
어디가 틀렸는지, 왜 틀렸는지, 어떤 방향으로 고쳐야 하는지 — 아무것도 담겨 있지 않다.
그래서 AI는 자기 나름대로 '좀 다르게' 시도한다.
단어 몇 개 바꾸고, 구성을 살짝 비틀고, 그러고는 "이렇게 수정했습니다"라고 내놓는다.
근본적인 문제는 그대로인 채로.
이건 AI의 한계가 아니라, 피드백의 한계다.
내가 수 번의 AI 대화를 복기하면서 깨달은 게 있다.
AI의 실수는 크게 세 가지로 나뉜다.
그리고 각각의 실수에는 각각의 피드백 방식이 필요하다.
이건 AI가 아예 다른 방향으로 달린 경우다.
예를 들어, 내가 "우리 서비스의 리텐션 분석 보고서를 작성해줘"라고 했는데,
AI가 리텐션의 일반적인 개념을 설명하는 리포트를 써놓은 거다.
교과서 같은 걸 내놓은 것이다.
내가 원한 건 '우리 서비스'에 대한 구체적 분석이었는데.
이런 경우에 "다시 해줘"라고 하면 어떻게 될까?
AI는 '리텐션 분석 보고서'라는 키워드는 그대로 가져가고, 같은 방향에서 약간만 다르게 쓴다.
문제가 해결될 리 없다.
방향 오류에는 이렇게 피드백해야 한다.
"지금 작성한 건 리텐션에 대한 일반적인 설명이야.
내가 원하는 건 '우리 서비스'의 실제 데이터를 기반으로 한 분석이야.
월별 리텐션 추이, 이탈이 가장 많은 구간, 그리고 개선 가설 3개를 포함해서 다시 작성해줘."
핵심은 세 가지다.
지금 결과물이 뭔지 짚어주고, 내가 원하는 방향을 구체적으로 말하고, 포함할 요소를 명시하는 것.
방향이 잘못됐을 때는 미세 조정이 아니라 나침반을 다시 세팅해줘야 한다.
방향은 맞는데, 내용이 너무 얕은 경우다.
이게 사실 가장 흔하다.
기획서를 요청했는데 목차 수준의 개요만 나왔다거나, 마케팅 카피를 부탁했는데 어디서든 볼 수 있는 뻔한 문장이 나왔다거나.
틀리진 않았다.
하지만 쓸 수가 없다.
실무에서 바로 꺼내 쓰기에는 너무 가볍다.
이런 상황에서 "좀 더 자세히 써줘"라고 하면? AI는 분량만 늘린다.
같은 얘기를 풀어서 쓰거나, 비슷한 예시를 덧붙이거나.
깊이는 그대로인데 글만 길어진다.
깊이 오류에는 이렇게 해야 한다.
"방향은 맞아. 그런데 지금 내용은 개요 수준이야.
두 번째 섹션에서 '고객 세그먼트별 접근 전략' 부분을 더 깊게 다뤄줘.
구체적으로 각 세그먼트별 페인포인트, 우리 서비스의 소구 포인트, 그리고 실제 캠페인 메시지 예시까지 포함해줘."
여기서 중요한 건 어디가 얕은지 콕 집어주는 것이다.
"전체적으로 좀 더 자세히"가 아니라, "두 번째 섹션의 이 부분이 얕다"고 특정해야 한다.
그래야 AI가 어디에 에너지를 집중할지 안다.
나는 이걸 '스포트라이트 피드백'이라고 부른다.
무대 전체를 환하게 비추는 게 아니라, 조명을 한 곳에 집중시키는 것.
AI한테는 이 방식이 훨씬 효과적이다.
AI가 존재하지 않는 정보를 만들어내거나, 숫자를 틀리게 쓰거나, 실제와 다른 내용을 자신 있게 서술하는 경우다.
이른바 '할루시네이션'인데, 이건 좀 까다롭다.
왜냐하면 AI가 틀린 줄 모르고 자신 있게 말하기 때문이다.
"이 부분 틀렸어"라고만 하면, AI는 "죄송합니다"라고 사과한 뒤 또 다른 그럴듯한 내용을 만들어낸다.
사과는 하지만, 정확한 정보를 가지고 있지 않으면 또 다시 지어내는 것이다.
사실 오류에는 이렇게 대응해야 한다.
"세 번째 문단에서 'A사가 2024년에 이 기능을 출시했다'고 했는데, 이건 사실이 아니야.
A사는 이 기능을 아직 출시하지 않았어.
이 부분은 삭제하고, 대신 B사가 2023년에 유사 기능을 출시한 사례로 대체해줘.
확실하지 않은 사실은 포함하지 말고, 불확실한 부분은 '확인 필요'라고 표시해줘."
핵심은 세 가지다.
어디가 틀렸는지 정확히 짚고, 올바른 정보를 직접 제공하거나 대안을 지시하고, 불확실한 건 쓰지 말라는 가드레일을 설정하는 것.
AI의 사실 오류는 '고쳐줘'로 해결되지 않는다.
정답을 알려주거나, 모르면 쓰지 말라고 명확히 선을 그어야 한다.
위의 세 가지 오류 유형을 정리하면, 하나의 피드백 공식이 나온다.
나는 이걸 "짚고–방향–가드레일" 공식이라고 부른다.
1단계. 짚기 — 지금 결과물의 문제가 뭔지 구체적으로 말한다.
"전체적으로 별로야"가 아니라, "두 번째 섹션에서 고객 세그먼트 분류 기준이 너무 광범위해" 같은 식이다. 문제의 위치와 성격을 특정한다.
2단계. 방향 제시 — 어떻게 고쳐야 하는지 알려준다.
"더 잘 써줘"가 아니라, "연령대별이 아니라 구매 빈도 기준으로 세그먼트를 나눠줘" 같은 식이다. 수정의 방향과 기준을 함께 준다.
3단계. 가드레일 설정 — 하지 말아야 할 것을 명확히 한다.
"확인되지 않은 통계는 쓰지 마", "기존에 잘 쓴 첫 번째 섹션은 건드리지 마", "전체 분량은 A4 2장을 넘기지 마" 같은 제한 조건이다.
이 세 단계를 한 번에 담아서 피드백하면, AI는 놀라울 정도로 정확하게 수정한다.
왜냐하면 AI 입장에서는 '무엇이 문제이고, 어디로 가야 하고, 어디는 가면 안 되는지'가 다 명확하기 때문이다.
실전에서 내가 자주 쓰는 피드백 템플릿을 하나 공유한다.
"지금 결과물에서 [구체적 위치/내용]이 [구체적 문제]야.
[수정 방향]으로 다시 작성해줘.
단, [제한 조건 1]과 [제한 조건 2]는 지켜줘."
이 템플릿 하나만 외워도, AI와의 수정 과정이 확 달라진다.
피드백 공식만큼 중요한 게, 하지 말아야 할 것들이다.
감정적으로 말하지 마라.
"이게 뭐야, 진짜 못했네" 같은 말. 사람한테도 별로지만, AI한테는 완전히 무의미하다.
AI는 감정적 뉘앙스에서 정보를 추출하지 못한다.
"못했다"는 말에서 '어디가 어떻게 부족한지'를 읽어내지 못한다는 뜻이다.
감정을 빼고, 사실만 전달하라. 오히려 그게 더 빠르다.
한꺼번에 다 고치려 하지 마라.
처음 받은 결과물에 문제가 다섯 군데 있다고 치자. 이걸 한 번에 다 지적하면, AI가 혼란에 빠진다.
우선순위를 모르기 때문이다. 가장 큰 문제 하나를 먼저 고치고, 그 다음 문제로 넘어가는 게 낫다.
이건 14화에서 다뤘던 '한 번에 다 시키면 안 되는 이유'와도 같은 맥락이다.
수정 피드백도 마찬가지로, 한 번에 하나씩이 원칙이다.
좋은 부분을 말하지 않는 것도 문제다.
10화에서 "AI는 칭찬을 들을수록 거짓말을 한다"고 썼다.
근거 없는 칭찬은 문제가 맞다. 하지만 수정 피드백을 할 때, 잘 된 부분을 짚어주는 것은 다른 이야기다.
"첫 번째 섹션의 문제 정의 부분은 좋아. 그건 유지해줘. 두 번째 섹션만 수정하면 돼."
이렇게 말하면 AI는 첫 번째 섹션을 건드리지 않는다.
잘된 부분을 명시하는 건 칭찬이 아니라, 수정 범위를 한정하는 전략이다.
이 차이를 알면 피드백의 효율이 완전히 달라진다.
많은 사람들이 AI에게 처음 요청하는 프롬프트에만 신경을 쓴다.
"어떻게 물어봐야 잘 답할까?"에 온 에너지를 쏟는다.
물론 중요하다.
하지만 현실에서는, 첫 번째 결과가 완벽하게 나오는 경우가 거의 없다.
진짜 실력은 그 다음에 나온다. 첫 번째 결과를 보고, 뭐가 부족한지 파악하고, 정확하게 피드백해서 원하는 결과에 도달하는 과정.
이게 AI를 잘 쓰는 사람과 못 쓰는 사람을 가르는 진짜 기준이다.
생각해보면, 실무에서도 똑같다.
기획서를 처음부터 완벽하게 쓰는 사람은 없다.
초안을 쓰고, 피드백을 받고, 수정하고, 다시 검토하고. 이 반복 과정에서 기획서가 완성된다.
AI와의 작업도 마찬가지다. 첫 프롬프트는 초안 요청이고, 이후의 피드백이 실제 완성의 과정이다.
그래서 나는 '프롬프트 역량'보다 '피드백 역량'이 더 중요하다고 말하고 싶다.
좋은 프롬프트를 쓰는 능력이 70점짜리 결과를 만든다면, 좋은 피드백을 하는 능력이 70점을 95점으로 끌어올린다. 그리고 실무에서 필요한 건 항상 95점이다.
마지막으로, 내가 실제로 AI 결과물을 수정할 때 쓰는 루틴을 공유한다.
1) 결과물을 받으면 바로 수정 요청하지 않는다.
먼저 30초만 읽어본다.
전체적인 방향이 맞는지, 구조가 괜찮은지 훑는다.
세부 내용보다 큰 그림을 먼저 본다.
2) 방향이 맞으면 디테일로 들어간다.
방향이 틀렸으면 방향부터 잡고, 방향이 맞으면 깊이와 정확성을 확인한다.
순서가 중요하다.
방향이 틀린 채로 디테일을 고치면 시간 낭비다.
3) 수정 포인트를 하나로 좁힌다.
가장 크게 아쉬운 부분 하나를 골라서, 위의 "짚고–방향–가드레일" 공식으로 피드백한다.
4) 수정된 결과를 다시 확인한다.
고친 부분이 제대로 반영됐는지, 다른 곳이 망가지지 않았는지 확인한다.
괜찮으면 다음 수정 포인트로 넘어간다.
5) 2~3번 반복하면 대부분 원하는 결과가 나온다.
첫 번째 결과 → 방향 수정 → 깊이 보완 → 사실 확인. 이 흐름이면 대부분의 작업이 완성된다.
처음부터 새로 요청하는 것보다 이 방식이 훨씬 빠르고, 결과물의 품질도 높다.
이건 기획자가 문서를 검토하는 과정과 완전히 동일하다.
AI를 잘 쓴다는 건, 결국 좋은 검토자이자 좋은 디렉터가 된다는 뜻이기도 하다.
다음에 AI한테 "다시 해줘"라고 말하려는 순간, 3초만 멈춰보자.
그리고 이렇게 바꿔보자.
"[여기]가 [이렇게] 문제야. [이 방향]으로 고쳐줘." 이 한 문장이면 충분하다.
구체적으로 짚을수록, AI의 수정 속도와 정확도는 극적으로 달라진다.
피드백을 잘하는 사람이 AI를 잘 쓰는 사람이다. 그리고 그건, 기획자가 가장 잘하는 일이기도 하다.
다음 화에서는, AI를 회의실에 데려가는 방법에 대해 이야기해보려 한다. 회의 전에 AI로 논점을 정리하고, 반론을 미리 예측하는 법이다.
#AI피드백 #프롬프트엔지니어링 #AI활용법 #기획자AI #업무자동화 #ChatGPT활용 #AI실무 #피드백기술 # AI대화법 #직장인AI