생성형 AI 활용
대화의 흐름을 제어하는 법
대화에도 리듬이 있다
AI랑 대화하다 보면, 어떤 때는 한 번에 뚝딱 끝내고 싶고, 또 어떤 때는 여러 번 왔다 갔다 하면서 답을 완성하고 싶을 때가 있다.
그게 바로 싱글턴(Single-turn)과 멀티턴(Multi-turn)의 차이다.
싱글턴은 매번 똑같이 꺼내 쓸 수 있는 정형 업무에 잘 맞는다.
예를 들어 “분기 보고서 요약” 같은 건 매번 똑같은 형식이니까, 한 번에 완결된 답변을 받아내는 게 효율적이다.
반대로 멀티턴은 사람과 대화하듯 오가면서 점점 더 정교하게 만든다.
상담, 아이디어 발산, 스토리텔링… 이런 건 오히려 여러 번 대화할수록 더 좋은 결과가 나온다.
맥락을 보강하는 법
AI가 다 알 것 같지만 사실은 그렇지 않다.
최신 정보나 내부 데이터는 AI가 모른다.
그래서 Contextual Augmentation이라는 방식을 쓴다.
쉽게 말하면 “이 자료 참고해”라고 미리 문서를 넣어주는 거다.
예를 들어, 보안 리포트랑 NIST 프레임워크를 같이 던져주고 “리스크 TOP5 정리해줘”라고 하면? 추상적인 얘기가 아니라 실제 근거가 담긴 답변이 나온다.
이게 바로 맥락을 보강하는 힘이다.
AI도 스스로 돌아본다
중급 단계에서 가장 흥미로운 건, AI가 자기 답을 스스로 검토하는 패턴이다.
Reflexion이라고 부른다.
“오탈자 없는지, 톤이 브랜드 가이드랑 맞는지 확인해”라고 시키면, 스스로 고치고 수정 이유까지 달아준다. 예전에는 내가 일일이 눈으로 확인해야 했던 걸, 이제는 AI가 대신해준다.
또 ReAct라는 방식은 추론과 행동을 합친 거다.
그냥 생각만 하는 게 아니라, 실제로 검색하거나 API를 불러오면서 답을 만든다.
그리고 Tree of Thoughts(ToT)는 여러 갈래의 사고 경로를 탐색하는 구조다.
마치 브레인스토밍을 여럿이서 하는 것처럼, 여러 길을 열어두고 제일 나은 해답을 찾아낸다.
여러 전문가를 불러내는 패널 토론
가끔은 한 명의 시각만으로 부족할 때가 있다.
이럴 때는 AI에게 역할을 다르게 줘서 PanelGPT처럼 운영한다.
HR 전문가, 재무 분석가, 조직심리학자를 동시에 불러내서 토론시키는 식이다.
그러면 편향도 줄고, 한쪽에 치우치지 않은 답변이 나온다.
더 나아가면 아예 여러 에이전트를 분업시킬 수도 있다.
누군가는 기획을, 누군가는 SEO를 담당하게 해서 최종 결과를 합치는 방식.
실제 팀처럼 굴릴 수 있는 거다.
좋은 프롬프트도 시스템이 필요하다
프롬프트는 즉흥적으로 쓰는 것도 좋지만, 자주 쓰는 건 템플릿으로 만들어두면 훨씬 편하다.
CO-STAR나 RISEN 같은 프레임워크도 있고, 단계별로 연결하는 Prompt Chaining도 있다.
심지어 “더 나은 프롬프트를 설계해줘”라고 AI에게 시키는 메타 프롬프트도 가능하다.
하지만 중요한 건 결국 검증이다.
답변의 정확성, 일관성, 유용성을 기준으로 평가하고, 여러 답변을 블라인드로 비교하는 것도 필요하다.
AI가 실수하는 건 당연하니까, 그걸 얼마나 체계적으로 줄이느냐가 관건이다.
RAG, 검색과 생성의 만남
최근 가장 뜨거운 키워드 중 하나는 RAG다.
검색 증강 생성.
AI가 답변을 만들기 전에 벡터DB에서 자료를 검색해와서 근거를 함께 넣는 방식이다.
쏘카가 이걸 활용해 고객센터 챗봇을 만들었다.
약관과 매뉴얼을 그대로 검색해 보여주니 상담 품질이 확 달라졌다.
모르면 모른다고 말하게 한 것도 인상적이다.
결국 중요한 건 “헛소리하지 않게 만드는 것”이다.
Spotify 사례 – 검증과 교정의 결합
Spotify에서 AI가 만든 음악 추천 문구가 가끔 어색하다고 하자.
이 문제를 해결하려면 두 가지 패턴을 묶으면 된다.
Cognitive Verifier: 먼저 AI가 스스로 “장르 분류가 맞나? 추천 논리가 자연스러운가?” 같은 질문을 던지고 답한다.
Reflexion: 그다음 답변을 검토하면서 오탈자나 톤을 맞추고, 표현을 정리한다.
결국 “사전 검증 + 사후 교정” 구조다. 이렇게만 해도 훨씬 신뢰할 수 있는 결과물이 나온다.
글을 마치며
기초편이 “AI에게 어떻게 시킬까”였다면, 중급편은 “AI와 어떻게 협업할까”에 가깝다.
AI는 이제 단순한 도구가 아니라, 함께 일하는 대화 파트너가 되고 있다.
우리가 자주 쓰는 말로 마무리하자면,
좋은 답은 결국 좋은 질문에서 시작된다.
