비법 프롬트는 없다
이제는 몇달 지난 이야기다. 유튜브 알고리즘이 언젠가부터 프롬트 엔지니어링(Prompt Engineering) 강의를 추천하기 시작했다. "ChatGPT를 200% 활용하는 법", "전문가도 모르는 비법 프롬트 10가지". 제목만 봐도 냄새가 난다. 클릭해주고 싶지 않은.
딱히 궁금하지도 않았다. 매일 ChatGPT 쓰면서 그냥 감으로 터득한 거로 충분하다고 생각했으니까. 그런데 지인 한 명이 유데미(Udemy)에서 강의를 샀다는 얘기를 듣고 문득 궁금해졌다. 나처럼 그냥 감으로 쓰는 게 맞는 건지, 아니면 뭔가 진짜로 각 잡고 배워야 하는 건지.
앞선 글에서 ChatGPT가 어떻게 작동하는지 다뤘는데, 이번엔 그 앵무새를 더 잘 다루는 법이 실제로 배울 가치가 있는지 따져보려 한다.
프롬트(prompt)는 AI에게 주는 지시문이다. "번역해 줘"도 프롬트고, "너는 10년 경력의 카피라이터야. 이 문장을 MZ 세대 타깃으로 다시 써줘"도 프롬트다. 프롬트 엔지니어링은 이 지시문을 체계적으로 설계하는 기술을 말한다.
학계에서는 이걸 꽤 진지하게 연구해 왔다. 2024년에 나온 "The Prompt Report"라는 논문은 무려 1,565편의 연구를 분석해 58가지 프롬팅 기법을 정리했다. 단순한 유행이 아니라 나름의 학문적 기반이 있다는 얘기다.
수치만 보면 꽤 인상적이다. 단계적으로 생각하도록 유도하는 CoT(Chain-of-Thought) 기법은 추론 벤치마크에서 30-50% 향상을 보였다. 예시를 몇 개 넣어주는 Few-Shot 방식도 안 넣는 것보다 일관되게 낫다(참조).
그런데 반전이 있다. 동일한 연구에서 예시 순서만 바꿔도 정확도가 40점 이상 달라졌고, 공백이나 구두점 하나로 30% 이상 성능이 흔들렸다. 효과는 실재하지만, 동시에 어마어마하게 불안정하다. 비법이 아니라 변수다.
결정적인 건 따로 있다. 와튼 스쿨(Wharton School)이 최근 발표한 연구에서, o1이나 o3 같은 최신 추론 모델에 CoT를 적용했더니 성능 향상이 고작 2.9-3.1%에 불과했다. 이 모델들은 이미 내부적으로 CoT를 하고 있기 때문이다. 밖에서 굳이 가르칠 필요가 없어졌다. 알아서 찰떡같이 알아들으니까.
그러면 자연스럽게 이 질문이 나온다. 검증된 기법도 최신 모델에선 2-3% 차이에 그친다면, 유데미나 유튜브에서 파는 강의는 대체 무엇을 가르치고 있는 건가.
솔직히 말하면, 강의를 사게 만드는 건 FOMO다. 나만 AI를 못 쓰는 거 아냐? 다들 비법 프롬트로 생산성을 두 배씩 올리는데, 나만 뒤처지는 거 아냐? 강의 마케팅은 이 불안감을 정확하게 파고든다.
설령 조금 도움을 받더라도 오늘 배운 "비법"은 다음 모델 버전에서 쓸모없어질 수 있다. The Prompt Report 저자들도 프롬트 엔지니어링 스킬은 빠르게 낡는다고 명시했다.
예외는 있다. DeepLearning.AI(앤드루 응 교수가 운영하는 교육 플랫폼)의 무료 단기 과정들은 원리 중심이라 쓸 만하다는 평이 있다. 공짜니까 손해도 없다. 그 이상은 필요 없다.
OpenAI 출신 안드레이 카르파티(Andrej Karpathy)는 최근 "프롬트 엔지니어링"이라는 말 자체가 이미 낡았다고 했다(참조). 진짜 중요한 건 "컨텍스트 엔지니어링(context engineering)"이라고. 지시문 하나를 잘 쓰는 게 아니라, AI가 필요한 시점에 올바른 맥락을 올바른 형태로 받을 수 있도록 전체 흐름을 설계하는 역량.
그리고 이미 시장은 결론을 냈다. 2023-2024년에 핫했던 "프롬트 엔지니어(Prompt Engineer)"라는 직함이 2025년에는 사실상 사라졌다. 기업의 68%가 별도 포지션을 고용하는 대신 전 직원의 기본 AI 소양으로 흡수해버렸다(참조). IEEE Spectrum 같은 권위 있는 기술 저널도 "프롬트 엔지니어링은 죽었다"는 제목의 기사를 냈다. 직함이 생긴 지 2년 만에.
강의를 살 필요는 없다. 하지만 원리를 알고 쓰는 게 모르고 쓰는 것보다 낫다. 어느 정도 자율학습이 필요하다는 말이다.
나도 매일 쓰면서 감으로 터득한 것들이 있다. 역할을 구체적으로 주면 더 좋은 답이 나온다. 예시를 하나 넣어주면 일관성이 높아진다. "아무거나 써줘"보다 "이런 목적으로 이런 형식으로 써줘"가 낫다. 이게 프롬트 엔지니어링의 핵심 80%다. 쓰다 보면 자연스럽게 알게 된다.
강의가 필요한 순간은 딱 하나다. LLM을 코드로 직접 다루거나 기업 시스템에 AI 파이프라인을 연결해야 할 때. 그건 대개 개발자 영역이고, 일반 지식 노동자에겐 해당 없는 경우가 많다.
앵무새가 어떻게 작동하는지 이해하면 앵무새를 더 잘 활용할 수 있다. 그 이해는 강의에서 오는 게 아니라 직접 써보면서 온다. 수십만 원짜리 코스가 그걸 대신해주지는 않는다. 차라리 앵무새한테 직접 물어보자. "어떻게 프롬트를 너한테 주면 이런저런 일을 더 잘해줄 수 있어?"