기획하는 족제비

6. 에이전트 검증용 데이터셋을 어떻게 만들지? - 에이전트 서비스 품질 검증

2026-04-13T22:10:21Z

에이전트의 품질을 검증하려면 Golden set, Golden sample이라고 부르는 답지가 필요하다. 머신러닝을 해본 사람이라면 훈련(Train), 검증(Validation), 평가(Test) 데이터셋을 떠올릴 수 있다. 에이전트 검증용 데이터셋도 비슷하다. 질의와 기대 결과가 한 세트로 묶여 있고, 그 세트로 제품이 잘 동작하는지 평가한다. 다만

5. 에이전트 제품의 품질 검증은 어떻게 하지? - 에이전트 품질 측정과 지표 설정

2026-04-09T00:20:24Z

에이전트 프레임워크도 정했고, 내부 기능을 조작하는 '도구(Tool)'도 쥐어주며 에이전트의 능력을 확장했다. 테스트 삼아 채팅창에 명령을 내려보니 꽤 그럴싸하게 동작한다. 그러면 바로 고객에게 제공해도 될까? 절대 아니다. 이제 에이전트를 기획할 때 가장 고통스럽고, 동시에 가장 중요한 단계가 남았다. 바로 '품질 검증(Evaluation)'이다. 기

4. 에이전트 제품 기획·개발은 어떻게 이루어질까? - 에이전트 기획을 제품으로 구현하는 방법

2026-04-05T23:00:30Z

프레임워크, 에이전트 구조, 그리고 도구(Tool)의 개념까지 살펴봤다. 그러면 이제 이를 활용해서 어떻게 제품을 기획할 수 있을까? 사용자가 던진 채팅 한 줄이 어떻게 우리 제품의 내부 기능을 조작하고, 사용자에게 좋은 경험을 제공할 수 있을까? 이번 글에서는 기존 화면 기반의 B2B SaaS 제품을 에이전트 기반 경험(AX)으로 전환하는 실제 기획 사

3. 에이전트의 도구(Tool)란 무엇인가? - 에이전트 도구의 이해와 기획자의 역할

2026-04-01T22:35:06Z

지난 글에서 에이전트의 5가지 핵심 구성 요소(Goal, Context, Tool, Judge, Sandbox)를 개념 수준에서 짚어봤다면, 이번 편은 기획자가 가장 머리를 싸매야 하는 '도구(Tool)'를 설명할 예정이다. 단순한 챗봇과 능동적인 에이전트를 가르는 결정적인 차이가 이 도구를 사용하느냐, 마느냐로 갈릴 만큼 도구란 에이전틱한 경험을 제공하

2. 에이전트의 구조는 어떻게 기획하는가? - 에이전트 기획을 위한 5가지 구조

2026-03-29T23:32:40Z

LLM vs 에이전트 AI 프레임워크를 결정하며 환경 세팅에 대한 고민을 마쳤다면, 이제 우리가 만들려는 '에이전트'가 정확히 어떤 구조로 동작하는지 정의할 차례다. 에이전트를 기획한다고 하면 흔히 챗봇의 프롬프트를 정교하게 깎는 작업 정도로 생각하기 쉽다. 하지만 'LLM' 기능과 '에이전트'는 동작 방식 자체가 다르다. Spring AI에서 발행한 아

1. 어떤 AI 프레임워크를 선택할 것인가? - Spring AI vs LangChain4j

2026-03-25T23:00:24Z

결론 에이전트를 서비스에 본격적으로 올릴 거라면, 초기 세팅이 조금 번거롭더라도 단일 API 직결보다는 AI 프레임워크를 활용하는 것이 장기적으로 이득이다. 기존 서비스가 Java/Spring 기반이고, 잦은 패키지 버전업에 따른 사이드 이펙트(전수 검증)를 감당할 여력이 없다면, Spring AI보다는 LangChain4j를 처음부터 검토하는 것을 권장한

0. 에이전트 기획 레슨런: 인트로 - 채용 에이전트를 만들며

2026-03-23T00:18:50Z

회사에서 채용 에이전트를 기획한 지 벌써 3개월이 넘었다. 이제는 출시를 앞두고 세미나를 열어 고객들에게 제품을 소개하고 있다. 예전에는 LLM을 활용한 단발성 기능을 주로 만들었다. 사용자가 기존 채용 공고나 워드 문서를 업로드하면 지원자를 검색할 때 쓰기 좋은 공고 형태로 바꿔주거나, LLM을 활용해 구직자 프로필을 분석해서 리포트로 가공해 주거나,

코덱스 기반 다중 에이전트 설계 회고 - 완벽한 통제가 AI의 발목을 잡을 때

2026-03-22T23:56:22Z

에이전트 하네스 구축 지난 설 연휴 동안, Codex를 기반으로 개인적인 실험 하나를 진행했다. 개인용 작업과 업무용 작업을 모두 아우를 수 있는, 나만의 멀티 에이전트 하네스를 직접 설계해 보는 실험이었다. 결론부터 말하면 처음 구상한 방식은 잘 작동하지 않았다.하지만 그 실패 덕분에, 에이전트 협업 구조를 어떻게 설계해야 하는지에 대해 꽤 중요한 교훈

2026년 1월 근황 - H.채용 에이전트 기획과 검증, 그리고 성장

2026-02-18T23:00:37Z

목차 1. 신규 상품 출시 준비 2. 10년 된 제품을 베이스로 에이전트 제품을 출시한다는 것은 3. AI 기획 업무 4. 에이전트 검증 노하우가 생기고 있다. 5. 오랜만의 외출, PM들의 수다 발표 1. 신규 상품 출시 준비 이번에는 회고 업로드가 많이 늦었다. 팀을 이동한 지 두 달째인데, 팀 적응이라는 단어를 꺼내기도 힘들 만큼 정신없이 흘러간

2025년 끝, 2026년 시작 - 2025년 결산 및 회고

2026-01-04T23:00:59Z

2025년이 끝났다. 가장 '내 일'에 몰입한 한 해였다. 프로젝트를 본격적으로 리딩하게 되며, 팀의 목표 설정부터 구성원 관리까지. 조직의 탑-다운 업무를 진행하며 내·외적으로 모두 성장한 한 해라고 생각한다. 역할이 많이 확장되고, 좋아하는 걸 찾아가는 해였던 것 같다. 덕분에 찾아온 기회도 많았고, 스트레스도 많았지만 얻은 게 더 컸던 2025년.

2025년 12월 근황 - AX 프로젝트를 시작하며

2026-01-03T02:01:34Z

목차 1. 잘 나가는 제품팀으로 오다. 2. AI 서비스 기획의 재미와 어려움 3. Agent 시대, 제품은 무엇을 해결해야 하는가 1. 잘 나가는 제품팀으로 오다. 직전 근황 글에서 말한 것처럼 신규 제품, 인재 매칭 솔루션 H.X의 PoC를 종료했다. 11월 말에 2026년 전사 사업 방향이 구체화되며 인사이동이 있었고, 내가 속해있던 TF 팀원들과

2025년 11월 근황 - 프로젝트 드랍, 제품 실패 분석과 소회

2025-11-30T23:00:36Z

목차 1. 프로젝트 드랍 2. H.X 마케팅 기획을 마치며 3. 매칭 사업에 대한 소회 1. 프로젝트 드랍: 씁쓸함과 후련함 결론부터 말하면 10월부터 준비하고 막 드라이브가 걸리던 프로젝트가 드랍됐다. 아이템 선정부터 임원 보고를 통한 프로젝트 승인까지 온전히 내가 메이드하던 프로젝트였다. 드랍된 배경에는 크게 조직의 내년 사업방향, 내부적인 이슈,

내가 메이드한 프로젝트가 드랍된 후 남은 것들 - 8톤 트럭을 끌다 멈춘 기분. PM의 성장통

2025-11-30T03:08:35Z

2025년 11월 회고에서 다루려다가 조금 더 깊게 다루면 좋을 듯하여 별도의 글로 분리했다. 내 성장의 자양분으로 잘 남길 바라는 마음으로 정리한 글. 프로젝트 드랍 결론부터 말하면 10월부터 준비하고 막 드라이브가 걸리던 프로젝트가 드랍됐다. 프로젝트가 드랍된 게 처음은 아니지만 일반 구성원의 입장에서 경험할 때와 많이 다르다. 아이템 선정부터 임원

[AI 활용] 나만의 카페 출고 관리 서비스 만들기 - 바이브코딩을 통한 나만의 SaaS 만들기

2025-11-04T01:01:36Z

개요 회사에서 업무가 몰리면서 업무 내·외로 다양한 SaaS 프로덕트를 만들어 문제를 해결하고 있다. 이번 글은 AI Agent 기반 바이브코딩을 통해 회사가 아닌, 실제 일상의 문제를 해결한 사례를 공유한다. 이 글이 유용할 독자 - 아이디어는 있지만 개발 리소스 부족으로 실행이 어려운 사람 - "나도 AI와 함께 무언가 만들 수 있을까?" 궁금한 사

2025년 10월 근황 - 오랜만의 발표, AI Agent와 함께하는 조직 문화

2025-11-02T13:49:30Z

목차 1. AI가 빠르게 해주는 것과, 여전히 느린 것 2. 오랜만의 발표, 상품조직 성과 공유회 3. Cursor를 활용한 제품 개발 협업 방법론 연구 근황 4. 카카오 AI TOP 100 예선 참여 1. AI가 빠르게 해주는 것과, 여전히 느린 것 제품의 버티컬 확장을 준비하며 매일 시장 분석과 리서치에 몰두하는 요즘, 아주 잘 체감되는 게 한 가지

의사결정을 위한 보고의 기술 - 이제 보고를 신경 써야 한다면.

2025-10-28T23:29:24Z

TL;DR 보고는 단순한 정보 전달이 아니라 의사결정을 위한 완결성 있는 커뮤니케이션이다. 좋은 보고는 이전 논의의 맥락, 실행 결과 분석, 그리고 다음 단계 제안이 하나의 스토리로 연결되어 있다. 듣는 사람이 즉시 판단하고 행동할 수 있게 만드는 것, 그것이 보고의 본질이다. 보고의 본질은 완결성이다 조직에는 보고가 필요할 때가 있다. 특히 시스템이

[흥미로운 글] 2025년 9월 - AI 시대의 생존 전략: 판매, 검증, 집중

2025-10-15T01:00:29Z

매달 인상 깊게 읽은 글과 생각을 정리합니다.트렌드, 조직 관리, 기술, 기업에 대한 얘기를 다룹니다. 목차 1. AI 시대에서 살아남으려면 2. 가정과 가설에 대하여 3. 우린 어떤 고객을 겨냥하고 있는가? AI 시대에서 살아남으려면 원글: 무엇을 만들 것인가보다,어떻게 팔 것인가가 더 중요해진 시대 TL;DR 1. AI 기술의 확산으로 제품 간

2025년 9월 근황 - 출시 한 달 소회, 수직적 확장과 AI Natives PM

2025-10-11T04:30:27Z

목차 1. 오픈 한 달 차 데이터 분석, 퍼널 재설계 2. 수직적 확장을 시도하는 중 3. 조직에 적용할 방법론을 고민 중: AI Natives PM 1. 오픈 한 달 차 데이터 분석, 퍼널 재설계 출시 한 달 새 H.X에 많은 개선을 진행했다. 그리고 H.X의 초기 퍼널들을 다시 한 번 점검하는 시간을 가졌다. 에이치닷 플랫폼과 연동된 전략을 실행했기

[흥미로운 글] 2025년 8월

2025-09-16T23:00:44Z

매달 인상 깊게 읽은 글과 생각을 정리합니다.트렌드, 조직 관리, 기술, 기업에 대한 얘기를 다룹니다. 목차 1. PMF 붕괴에 대하여 2. Marketing과 Product의 협업에 대하여 3. B2B SaaS 제품에게 제품 주도 성장이란? PMF 붕괴에 대하여 원글: PMF 붕괴의 시대, 스타트업의 새로운 플레이북 원글: Product Market

모두를 만족시켜야 한다는 착각 - 전사 성과 공유회 후기

2025-09-09T23:00:22Z

※ 이 글은 '2025년 6월 근황' 글과 이어진다. 올해 초, 회사에서 ‘핵심인재’로 선정되며 본업 외에 특별한 프로젝트를 맡게 됐다. 제품 기획자, 영업 담당자, 개발자 등 6명이 한 팀이 되어, 사내 여러 시스템과 부서에 흩어진 고객·계약 데이터를 하나로 통합하는 과제였다. 사내 HR 솔루션들은 최근 몇 년간 빠르게 성장했고, 취급하는 제품군은 어느