멀티 AI 에이전트 구축기_EP04
얼마 전까지만 해도 프롬프트 엔지니어링(Prompt Engineering)이 유행했었습니다. 바라는 결과물을 얻기 위해 최적의 지시문을 만드는 데 집중하자는 취지였죠. 요즘은 프롬프트 엔지니어링이란 용어를 찾아보기가 어렵습니다. 이제 유행이 지난 걸까요 아님 다들 기본 스킬로 장착이 된 걸까요. 네, 둘 다 아닙니다.
프롬프트가 세분화되고 진화된 이유가 큽니다. 유저프롬프트에 만족하지 못한 사람들이 시스템 프롬프트에 도메인 지식을 녹여내기 시작했고 특정 상황에서 특정한 방식으로 응답하도록 정의하고 있거든요. 이전엔 시스템 프롬프트가 단순히 AI의 역할을 부여하는 행위로 간주되었다면, 이젠 복잡한 지식 워크플로우를 자동화하고 최적화하는 설계 행위로 간주됩니다. 거기에 AI 에이전트, 다중 에이전트까지 대두되면서 콘텍스트 엔지니어링(Context Engineering)으로 개념이 확장되었죠.
콘텍스트 엔지니어링을 고쳐 말하면 'AI 에이전트가 따라야 할 워크플로우를 제시함으로써, 일하는 방식 자체를 근본적으로 재설계하는 과정'이 됩니다. 주어진 과업을 수행하는 데 필요한 모든 정보(시스템 지침, 역할 정의, 사용 가능한 도구, 상호작용 기록, 외부 데이터 사용 여부, 과부하 정도 등)가 담긴 작업 환경 전체를 다룹니다.
두 가지 워크플로우 - 수평적 확장과 수직적 심화
다중 에이전트 시스템은 개별 에이전트의 성능도 성능이지만, 이들이 어떻게 상호작용하고 협력하는가에 따라 그 효과성이 결정됩니다. 협업구조가 중요한데 여기에서 협업 구조는 크게 수평적 워크플로우와 수직적 워크플로우 두 갈래로 나뉩니다. 각각의 장점과 단점이 있기에 추진 프로젝트의 목표와 성격에 따라 골라 쓰시면 됩니다.
수평적 워크플로우 : 병렬 배치와 시야의 확장
수평적 워크플로우는 공통의 데이터나 문제를 주고 여러 에이전트가 동시에 그리고 독립적으로 작업을 수행하는 방식입니다. 특정 안건에 대해 다양한 분야의 전문가들이 모여 토론하는 원탁회의랑 비슷한 방식이죠.
수평적 워크플로우는 에이전트 간의 관계 설정에 따라 협력 혹은 경쟁 관계로 나눌 수 있습니다. 협력 관계에서는 각기 다른 전문성을 가진 에이전트들이 문제를 자신의 시각에서 분석하고 그 결과를 공유하면서 해결책을 모색합니다. 반면, 경쟁 관계에서는 여러 에이전트가 동일한 과업에 대해 각자의 해결책을 제시하고, 평가자 에이전트가 최선의 결과를 고르거나 종합, 요약하는 방식을 씁니다.
수평적 워크플로우는 사용자에게 선택의 여지를 넓혀준다는 점에서 강점을 가집니다. 다양한 관점을 통합하여 편향을 줄이고 창의적인 해결책을 도출할 수 있죠. 단일 에이전트가 가질 수 있는 확증 편향이나 맹점을 다른 에이전트들이 보완해 주니 결과물이 풍성해집니다. 각각의 에이전트가 독립적으로 작업을 수행하므로, 전체 과업 수행에 걸리는 시간이 상대적으로 짧습니다. 답이 정해져 있지 않거나 모호한 문제에 대해서 다양한 시각의 해결 방식을 손에 쥘 수 있다는 점에서 괜찮은 접근입니다.
하지만 에이전트들이 생성한 결과물들이 이질적이다보니 이를 어떻게 조율하고 하나의 일관된 결과로 통합할 것인가에 대한 고민이 생깁니다. 결과물을 통합하는 과정 자체가 복잡할 수도 있고, 결과물들이 서로 상충하여 의사결정을 더 어렵게 만들 수도 있죠. 여기에 수직적 구조에 비해 더 높은 리소스를 요구한다는 문제도 있습니다. 각각의 역할은 다르지만 과업을 수행하는 방식은 비슷하니 같은 과정을 중복해서 수행하는 경우가 많거든요.
수평적 워크플로우 구성 예시 _ 신시장 진출 전략
상황 : 회사에서 성장 잠재력이 큰 신흥 시장으로의 진출을 검토하고 있다 가정해 봅시다. 정해진 답은 없지만, 경제, 문화, 법률, 정치 등 서로 복잡하게 얽혀 있는 다양한 변수를 동시에 고려해야 합니다.
수평 워크플로우 설계 : 동일한 기초 시장 데이터(경제 지표, 인구 통계, 소비자 보고서, 규제 환경 관련 뉴스 등)를 공통으로 제공하고, 각각 다른 역할과 전문성을 부여받은 에이전트들이 독립적으로 분석을 진행합니다.
경제 분석가 : 거시 경제 지표, 시장 성장률 전망, 환율 변동성, 가처분 소득 수준 등을 분석하여 시장의 재무적 매력도를 평가
문화 인류학자 : 현지 소비자의 문화적 특성, 가치관, 라이프스타일 트렌드, 디지털 기기 사용 행태 등을 분석하여 자사 제품 및 서비스의 시장 수용성을 예측
법률/규제 전문가 : 외국인 투자 관련 규제, 데이터 프라이버시 법규, 노동법, 지적 재산권 보호 수준 등을 검토하여 법적 리스크와 진입 장벽을 식별
지정학 리스크 분석가 : 해당 국가의 정치적 안정성, 주변국과의 외교 관계, 무역 분쟁 가능성 등을 평가하여 장기적인 비즈니스 안정성을 진단
기대 결과 : 각 에이전트는 자신의 전문 분야 혹은 관점에서 심층 분석 보고서를 독립적으로 생성합니다. 최종적으로 '전략 기획가 에이전트'가 이 네 가지 보고서 중 하나를 고르거나 종합하고, 이를 바탕으로 '공격적 시장 선점', '단계적 진출', '현지 파트너십 우선' 등 여러 가지 진출 시나리오를 도출합니다. 사용자는 다양한 관점과 선택지를 제공받음으로써 의사결정에 한결 신중을 기할 수 있습니다.
수직적 워크플로우 : 순차적 배치와 고농축 정보
수직적 워크플로우는 하나의 복잡한 과업을 여러 개의 논리적 단계로 분해하여 순서대로 처리하는 방식입니다. 수직적 워크플로우의 핵심은 각 단계의 에이전트가 이전 단계의 에이전트로부터 전달받은 결과물(Output)을 자신의 입력값(Input)으로 삼아 처리하고, 그렇게 도출된 결과물을 다시 다음 단계의 에이전트에게 전달하는 파이프라인에 있습니다. 각 에이전트는 자신에게 주어진 과업에만 집중하여 전문성을 발휘하게 되는데, 올림픽에서 보던 이어달리기를 떠올리시면 이해가 편하실 겁니다.
수직적 워크플로우의 장점은 쉬운 유지보수와 농축되는 정보입니다. 각각의 단계가 명확하게 정의되고 구분되어 있기 때문에 전체 워크플로우의 진행 상황을 추적하고 관리하기 쉽고, 문제가 생기면 어느 단계에서 오류가 생겼는지 금방 파악되기 때문에 수정하기가 비교적 수월합니다. 각각의 단계별로 에이전트에게 주어진 역할과 정교한 지시를 통해 데이터를 정보로 정제하고 또 가공하며 추론을 유도하기에 상대적으로 결과물의 질이 좋은 편입니다.
여기에도 단점은 있습니다. 선형적 처리 구조 때문에 특정 단계에서 발생한 작은 오류가 다음 단계로 그대로 전해질 경우, 최종 결과물에 좋지 못한 영향을 미칩니다. 앞 단에서 작업이 오래 걸릴 경우, 뒷 단의 에이전트들은 손가락 빨고 있는 그림도 종종 벌어지죠. 상대적으로 처리속도가 느리고 중간에 오류가 생길 가능성도 높습니다.
수직적 워크플로우 구성 예시 : ESG 규제 준수 보고서 자동 생성
상황 : 회사에서 강화된 ESG 공시 의무에 맞춘 연례 보고서를 작성해야 합니다. 이 작업은 GRI나 SASB 같은 명확한 보고 기준을 따라야 하죠. 데이터의 정확성, 일관성, 그리고 전체 보고 과정을 일목요연하게 정리해야 하는, 절차적 완결성이 필요한 작업입니다.
수직적 워크플로우 설계 : 이처럼 데이터를 단계별로 정제하고 가공하는 작업엔 수직적 워크플로우가 좋습니다. 각 에이전트는 전 단계의 결과물을 기반으로 정해진 역할을 수행하며, 정보의 품질을 점진적으로 높여 나갑니다.
데이터 추출 : 기업 내부의 다양한 시스템(ERP, 에너지 관리 시스템, 인사 관리 시스템 등)에 접속하여 보고서 작성에 필요한 정량 데이터(예: 온실가스 배출량, 용수 사용량, 임직원 남녀 비율)와 정성 데이터(예: 지배구조 정책, 윤리 강령 문서)를 자동으로 추출하고 수집
데이터 가공 : 전 단계에서 수집된 원시 데이터를 GRI 및 SASB 표준에서 요구하는 분류 체계에 따라 데이터를 재분류하고 측정 단위를 통일(예를 들어, 각기 다른 사업장에서 다른 단위로 측정된 에너지 사용량을 MWh로 표준화하는 작업을 수행)
보고서 작성 : 정규화된 데이터를 기반으로, 지정된 ESG 규제 보고서 양식에 맞춰 각 섹션별(예: E.1 온실가스, S.2 인권, G.1 이사회 구조) 서술형 초안을 작성
검증 및 요약 : 작성된 보고서 초안 전체를 검토하여 데이터 간의 논리적 일관성을 검증하고(예: 총배출량이 부문별 배출량의 합과 일치하는지), 핵심적인 성과와 개선이 필요한 영역을 식별. 필요하다면 경영진 보고용 핵심 요약(Executive Summary)과 주요 KPI 대시보드까지 생성
기대 결과 : 원시 데이터가 최종 보고서로 변환되는 전 과정이 체계적으로 관리됩니다. 이전 에이전트의 결과물이 다음 에이전트의 입력값으로 전달되면서 논리적 일관성이 보장된 고품질의 ESG 보고서를 생성합니다. 사용자는 밀도가 높아진 정보와 통찰을 제공받음으로써 문제 해결 혹은 업무에 대한 부담을 줄일 수 있겠죠?
역할과 지시를 넘어서
가깝지는 않겠지만 그리 멀지는 않은 미래를 그려볼까요. 사용자가 제시한 목표에 따라 시스템이 알아서 작업을 계획하고, 필요한 하위 에이전트가 동적으로 생성될 겁니다. 실행 과정에서 얻은 피드백을 바탕으로 스스로의 시스템 프롬프트와 워크플로우를 개선하겠죠. 투입하는 인프라가 확장되고 운용 효율이 측정되고 누적되면서 처리 속도는 점차 빨라집니다.
시스템 구축이나 고도화에 대한 부담은 AI가 가져갈테니 사용자는 프로젝트의 출발선에서 일의 본질과 흐름, 처리 방식을 규정하기만 하면 됩니다. 누구보다 정교하게 규정할 수 있다면 몸값은 천정부지로 올라가겠죠. 결과물이 다를테니까요.
일하는 방식을 재설계한다는 관점에서 접근해야 합니다. 큰 틀에서 수직적 워크플로우를 통해 농축시킨 정보를 통해 통찰을 가져갈 것인지, 수평적 워크플로우를 통해 관점을 확장하고 생각의 여지를 극대화할 것인지에 대한 결정 역시 그런 접근의 일환이죠.
멀티 AI 에이전트 시스템은 전체 워크플로우를 얼마나 논리적이고 효율적으로 설계하는지에 그 성패가 달려있습니다. AI 기술 전문가의 영역을 넘어, 일의 구조와 절차 - 조직의 전략적 목표를 깊이 이해하는 기획자, 관리자, 그리고 필드 전문가의 역할이 중요해진다는 얘기입니다. '문제 해결의 핵심 역량 = 프로세스 설계 및 논리적 사고 능력'의 등식도 점차 또렷해질 겁니다.
다음 회차에선 수직적 워크플로우로 프롬프트를 설계해보죠.