인부를 다뤄봐야 LLM을 이해한다.
AI와 다양한 워크플로우를 정의하고 일을하다보면 2년 전 나이지리아 worker 생각이 많이 난다.
왜일까?
같은 프롬프트를 두 번 넣어본 사람은 안다. 결과가 다르다.
전통적인 소프트웨어는 같은 입력에 같은 출력을 낸다. 1+1은 언제나 2다.
하지만 LLM은 다르다.
temperature를 0으로 고정해도 — 가장 '결정론적인' 설정에서도 — 동일한 프롬프트에 동일한 결과가 나오지 않는다. 부동소수점 연산의 비결합성, 서버의 동적 배칭, MoE 라우팅 같은 기술적 이유가 있지만, 사용자 입장에서 체감하는 건 하나다. 이 녀석은 매번 다르게 일한다.
"요약해줘"와 "핵심 논점 세 가지를 글머리 기호로 정리해줘"는 전혀 다른 결과를 만든다. 프롬프트 엔지니어링 채용공고 20,662건을 분석한 연구에 따르면, 프롬프트 엔지니어에게 가장 요구되는 역량은 AI 지식(22.8%)이 아니라 커뮤니케이션(21.9%)이다. 코딩 능력이 아니라 말을 잘 하는 능력.
할루시네이션도 그렇다. LLM은 모르는 것을 모른다고 하지 않는다. 그럴듯한 거짓을 자신 있게 내놓는다. 이건 버그가 아니다. 아는 척하는 사람과 구조적으로 같다.
나는 이 패턴을 어디선가 본 적이 있다. 건설 현장에서다.
건설 현장에서 인부를 관리해본 사람은 안다. 사람은 코드로 움직이지 않는다.
"저기 철근 배근해"라고 말하면 십중팔구 문제가 생긴다. "3층 동측 슬래브, D13 200 간격, 상하근 모두, 도면 A-103 참고"라고 말해야 원하는 결과가 나온다. 지시의 구체성이 결과의 질을 결정한다. 프롬프트 엔지니어링의 핵심 원리와 정확히 같다.
중간 확인도 빠뜨릴 수 없다. 오전에 작업 지시를 내리고 오후에 가보면 전혀 다른 일이 벌어져 있는 경우가 있다. 지시를 오해했거나, 현장 상황에 맞게 '알아서' 바꿨거나, 아니면 그냥 잊었거나. 그래서 중간에 한 번은 반드시 가서 본다. 콘크리트를 타설하기 전에 철근 배근 검사를 하는 것. LLM의 중간 결과물을 검증하고 다음 단계로 넘기는 것. 같은 구조다.
건설에는 두 가지 공사 방식이 있다. 직영과 간접.
직영은 자체 인력으로 직접 시공한다. 관리자가 작업자에게 구체적인 지시를 내리고, 과정을 지켜보고, 결과를 바로 확인한다. AI로 치면 하나의 LLM에게 프롬프트를 주고, 결과를 받고, 피드백을 주는 구조다.
간접은 협력업체에 위탁한다. 관리자는 작업 범위를 정의하고, 중간에 진척을 확인하고, 최종 결과물을 검수한다. 직접 시공하지 않는다. 여러 협력업체가 각자 전문 영역에서 동시에 일하도록 조율한다. 멀티 에이전트 워크플로우와 같다. 각 에이전트에 역할을 할당하고, 중간 산출물을 모니터링하고, 최종 아웃풋을 통합한다.
건설 현장에서는 두 모델이 프로젝트마다 다른 패턴으로 돌아간다. 어떤 프로젝트는 직영으로, 어떤 프로젝트는 간접으로. 또, 프로젝트 상황에 따라 혼재되는 경우도 있고. 상황에 따라 전환한다. 이 감각을 가진 사람이 싱글 에이전트와 멀티 에이전트를 오가며 운용하는 건 어렵지 않다.
설계변경이 생기면 영향받는 공종을 파악하고, 대안을 검토하고, 공정표를 재조정한다. 어떤 작업을 멈추고, 어떤 작업은 계속할 수 있는지 판단한다. AI 워크플로우에서 에이전트가 에러를 내거나 예상 밖의 결과를 반환했을 때 폴백 전략을 실행하는 것과 같다. 변수를 전제로 한 워크플로우 설계. 현장에서 매일 하는 일이다.
두 영역의 공통점은 하나다. 불확실한 실행자를 다룬다는 것.
전통적 소프트웨어는 확실한 실행자다. 시키는 대로 한다. 예외 없이. 하지만 LLM은 다르다. 같은 지시에 다른 결과를 내고, 맥락을 빠뜨리면 엉뚱한 일을 하고, 때로는 확신에 찬 목소리로 틀린 말을 한다. 사람과 같다.
건설 현장의 인부도 불확실한 실행자다. 숙련도가 다르고, 컨디션이 다르고, 지시를 해석하는 방식이 다르다. 그래서 건설 관리자는 세 가지를 체득한다.
첫째, 불확실성 내성. 같은 지시에 다른 결과가 나와도 당황하지 않는다. 화를 내는 대신 왜 그렇게 됐는지 파악하고, 지시를 보정하고, 다시 돌린다. LLM이 기대와 다른 결과를 냈을 때 프롬프트를 수정하고 재실행하는 것과 같다.
둘째, 검증 습관. 신뢰하되 확인한다. 콘크리트 강도 시험 결과를 협력업체 보고만으로 믿지 않는다. 직접 확인한다. LLM의 할루시네이션을 잡아내는 데 이 습관이 그대로 작동한다.
셋째, 지시의 기술. 모호하면 결과도 모호하다는 걸 몸으로 안다. 그래서 구체적으로 말한다. 범위를 정하고, 기준을 정하고, 기대 결과물을 명시한다. 이것이 좋은 프롬프트의 정의다.
Ethan Mollick은 이걸 "Management as AI superpower"라고 불렀다. 도메인 전문가가 AI를 잘 다루는 이유는 단순하다. 어떤 지시를 내려야 하는지 알고, 결과물이 좋은지 나쁜지 판별할 수 있기 때문이다. "소프트 스킬이라고 무시당하던 역량이 사실은 하드 스킬이었다."
데이터도 이 방향을 가리킨다. MIT Sloan과 BCG의 2025년 공동 조사에서 응답자 76%가 에이전틱 AI를 '도구'가 아닌 '동료'로 인식했다. PwC는 2026년을 'AI 제너럴리스트'의 해로 규정하며, 에이전트 오케스트레이션 역량이 핵심 직무가 될 것으로 전망했다. Deloitte 조사에서는 CHRO의 86%가 디지털 노동력 통합을 자신의 핵심 역할로 인식한다.
'에이전트를 오케스트레이션한다'는 말이 거창하게 들리지만, 풀어쓰면 별거 아니다. 누구에게 무엇을 맡기고, 어떤 순서로 진행하고, 중간에 어떻게 검증하고, 문제가 생기면 어떻게 전환하는가. 건설 현장 관리자가 매일 하는 일의 정의와 같다.
이미 이 방향으로 움직이는 곳이 있다. McKinsey는 현재 40,000명의 인력과 함께 20,000개의 AI 에이전트를 운영한다. 에이전트를 '온보딩'하고 '튜닝'하는 과정이 신규 인력 관리와 같다고 말한다. HR 시스템이 인간 직원뿐 아니라 에이전트까지 추적한다. 협력업체 관리 대장이 에이전트 관리 대장으로 바뀐 셈이다.
코딩을 배우라는 말이 넘친다. 프롬프트 엔지니어링을 배우라는 말도 넘친다. 중요하지 않다는 게 아니다. 다만 그 밑바닥에 깔린 역량은 결국 매니징이다. 불확실한 실행자에게 명확한 지시를 내리고, 중간에 확인하고, 결과물을 검증하고, 변수가 생기면 대응하는 것.
건설 현장에서 인부를 관리하던 사람이, 어쩌면 가장 자연스럽게 AI를 다루게 될지도 모른다.
[1] "Non-Determinism of 'Deterministic' LLM Settings," arXiv, 2024. https://arxiv.org/abs/2408.04667
[2] "Prompt Engineer: Analyzing Hard and Soft Skill Requirements in the AI Job Market," arXiv, 2025. https://arxiv.org/abs/2506.00058
[3] Ethan Mollick, "Management as AI superpower," One Useful Thing, 2026. https://www.oneusefulthing.org/p/management-as-ai-superpower
[4] MIT Sloan Management Review / BCG, "The Emerging Agentic Enterprise," 2025. https://sloanreview.mit.edu/projects/the-emerging-agentic-enterprise-how-leaders-must-navigate-a-new-age-of-ai/
[5] PwC, "2026 AI Business Predictions," 2026. https://www.pwc.com/us/en/tech-effect/ai-analytics/ai-predictions.html
[6] Deloitte, "Agentic AI strategy," 2026. https://www.deloitte.com/us/en/insights/topics/technology-management/tech-trends/2026/agentic-ai-strategy.html
[7] McKinsey, "Building and managing an agentic AI workforce," 2025. https://www.mckinsey.com/capabilities/people-and-organizational-performance/our-insights/the-future-of-work-is-agentic