한 번에 완성하려 하지 말고, 반복해서 다듬기
커플 검사 리포트를 완성하기까지 일곱 번의 수정을 거쳤습니다.
처음부터 일곱 번 고칠 계획은 아니었습니다. 첫 번째 버전을 받았을 때는 "이 정도면 거의 다 됐다"고 생각했습니다. 그러다 며칠 뒤 다시 읽고 문제를 발견했고, 구체적으로 피드백을 줬습니다.
두 번째 버전이 나왔습니다. 분명 나아졌는데, 또 다른 문제가 보였습니다. 세 번째, 네 번째, 다섯 번째. 그렇게 일곱 번을 고쳤습니다.
흥미로운 점은 이겁니다. 일곱 번 중 가장 큰 변화가 일어난 건 세 번째와 네 번째 수정이었습니다. 처음 두 번은 표면적인 문제를 잡았고, 세 번째부터 구조적인 문제가 보이기 시작했습니다. 리포트의 프레임 자체를 바꾼 것도 네 번째 수정에서였습니다. 다섯 번째 이후부터는 미세 조정이었고, 일곱 번째에서 "이제 됐다"고 느꼈습니다.
지금와서 보니 이건 우연이 아닙니다.
심리학자 Jakob Nielsen이 제안한 원리가 있습니다. 제품을 5명에게 테스트하면 문제의 약 85%를 발견할 수 있다는 것. 그런데 Nielsen이 진짜 강조한 건 숫자가 아니었습니다. 핵심은 반복이었습니다.
15명에게 한 번 테스트하는 것보다, 5명에게 테스트하고 고치고, 다시 5명에게 테스트하고 고치고, 또 5명에게 테스트하는 것이 더 효과적이라는 겁니다. 이유는 간단합니다. 한 번의 테스트로 모든 문제를 발견하는 건 불가능합니다. 첫 번째 문제를 고치면 그 뒤에 숨어 있던 두 번째 문제가 드러나고, 두 번째를 고치면 세 번째가 보입니다. 문제는 층위가 있습니다.
이 원리는 AI와의 협업에 그대로 적용됩니다.
AI에게 한 번에 완벽한 결과물을 기대하는 건, 15명에게 한 번 테스트해서 모든 걸 잡으려는 것과 같습니다. 한 번의 요청으로 완성품이 나올 거라는 기대 자체가 비현실적입니다. 첫 번째 결과물에서 표면적인 문제를 잡고, 두 번째에서 구조적 문제를 잡고, 세 번째에서 방향 자체를 조정하는 것. 이 과정이 자연스러운 겁니다.
구체적으로 어떤 일이 일어났는지 공유하겠습니다.
1차 수정 때, 첫 결과물을 받고 "톤이 너무 딱딱하다"고 느꼈습니다. 하지만 지난번 글에서 언급한 대로 하루를 묵혔습니다. 다시 읽어보니 톤만의 문제가 아니었습니다.
2차 수정 때, 문제를 구체화했습니다. "갈등 해결 섹션에서 진단하는 톤이 아니라 이해를 돕는 톤으로 바꿔달라"고 요청했습니다. 지난 글에서 다룬 What-Why-How를 적용한 겁니다. 해당 섹션이 확실히 나아졌습니다. 그런데 나아지고 나니, 다른 섹션과의 톤 차이가 눈에 들어왔습니다.
3차 수정 때, 리포트 전체의 톤을 통일해달라고 요청했습니다. 이때 중요한 깨달음이 있었습니다. 부분을 고치면 전체와의 관계가 바뀐다는 것입니다. 한 섹션을 개선하면, 개선되지 않은 다른 섹션의 문제가 더 선명하게 드러납니다.
4차 수정 때, 가장 큰 전환이 일어났습니다. 톤을 통일하고 나니, 리포트의 구조 자체가 문제라는 걸 알게 됐습니다. "성격 유형 설명 → 궁합 분석 → 조언"이라는 순서가 마치 전문가가 "판정"을 내리는 느낌을 줬습니다. 그 대신, 커플이 주체적으로 자기 관계를 탐색하는 구조로 바꿨습니다. 이건 표면을 고치는 것으로는 절대 발견할 수 없는 문제였습니다.
이후 5~7차 수정에서는 새 구조 안에서 문장 단위의 미세 조정을 거쳤습니다. 특정 표현이 오해를 불러일으킬 수 있는 부분을 다듬고, 실제 커플 사례를 추가하고, 마무리 메시지를 정교하게 다듬었습니다.
이 과정을 돌이켜보면 패턴이 있습니다.
초반(1~2회)은 표면 문제를 잡는 단계입니다. 톤, 문체, 단어 선택 같은 것들의 초안을 잡습니다. 이 단계에서는 "벌써 거의 다 됐다"고 착각하기 쉽습니다. 그러나 표면을 정리하고 나면 그 아래 숨어 있던 구조적 문제가 드러납니다.
중반(3~4회)은 구조를 바꾸는 단계입니다. 섹션의 순서, 전체 프레임, 독자에게 전달하려는 메시지의 방향. 이때 가장 큰 변화가 일어납니다. 그런데 이 변화는 처음부터 보이지 않습니다. 표면 문제를 먼저 해결해야 비로소 보이기 시작하는 문제입니다.
후반(5회 이후)은 미세 조정 단계입니다. 문장 하나, 표현 하나를 다듬는 작업을 합니다. 이 단계에서는 수정마다 변화의 크기가 줄어듭니다. 수확 체감의 법칙이 적용되는 겁니다. "이제 됐다"는 감각은 보통 이 단계에서 옵니다.
이 리듬을 알고 있으면 두 가지가 달라집니다. 첫째, 첫 번째 결과물에서 지나치게 오만하거나 지나치게 좌절하지 않습니다. "아직 1회차구나"라고 생각할 수 있습니다. 둘째, 중반의 큰 전환을 놓치지 않습니다. 표면만 고치다가 "이 정도면 됐지"라고 멈추는 실수를 피할 수 있습니다.
AI와의 협업을 탁구에 비유하면 이렇습니다. 내가 공을 보내면 AI가 받아칩니다. 그걸 받아서 다시 보냅니다. AI가 또 받아칩니다. 이 랠리가 길어질수록 공이 정교해집니다.
한 번 세게 쳐서 끝내려고 하면 오히려 빗나갑니다. "완벽한 프롬프트 하나로 완벽한 결과물을 뽑아내겠다"는 생각이 그겁니다. 그보다는 가벼운 공을 먼저 주고받으면서, 점점 원하는 방향으로 다듬어가는 것이 훨씬 효과적입니다.
실전에서는 이렇게 할 수 있습니다. 첫 번째 요청은 가볍게 시작합니다. 전체 방향만 주고 결과물을 받습니다. 두 번째부터 13화에서 다룬 What-Why-How 피드백을 줍니다. 세 번째쯤에서 "이 구조 자체가 맞나?"를 질문합니다. 네 번째 이후부터 디테일을 다듬습니다.
한 번에 완벽할 필요가 없습니다. 완벽은 반복의 끝에 옵니다.
지금까지 챕터 4에서는 AI 결과물을 판단하고, 구체적으로 피드백하고, 반복해서 다듬는 법을 다뤘습니다. 다음 글에서 이 시리즈를 마무리합니다. AI 시대에 인간의 역할은 무엇일까요? 생산자에서 편집자로, 그 전환에 대해 이야기하겠습니다.
Nielsen, J. (2000). Why you only need to test with 5 users. Nielsen Norman Group.
Nielsen, J., & Landauer, T. K. (1993). A mathematical model of the finding of usability problems. Proceedings of ACM INTERCHI'93 Conference, 206–213.