15장. Distill에서 AI는 무엇을 하는가

사람은 기준을 확정하고 AI는 후보를 좁힌다

매주 쌓인 노트를 처음부터 끝까지 다시 읽어 패턴을 찾는 방식은 오래가기 어렵다.

처음에는 할 수 있을 것 같아도, 노트 수가 늘어나면 무엇을 읽어야 하는지부터 부담이 커진다.
실제로 Distill 단계의 병목은 생각보다 분석 그 자체보다, 읽고 비교할 대상을 고르는 데서 먼저 생긴다.

그래서 Distill에서 AI가 필요하다.

Capture에서 AI의 역할이 입력 정리와 분기였다면, Distill에서의 역할은 패턴 탐지와 후보 제안에 가깝다.
이 단계에서 AI는 새 지식을 독립적으로 발명하는 존재가 아니다.
이미 쌓인 기록들 사이에서 반복과 연결을 드러내는 보조자다.

Distill에서 AI가 맡는 일은 크게 네 가지로 볼 수 있다.

첫째는 패턴 탐지다.
비슷한 Decision Log, 반복되는 사용자 불만, 여러 프로젝트에서 비슷하게 등장한 문제 유형을 먼저 묶어 보여줄 수 있다. 사람은 그 묶음을 보고 이것이 정말 패턴인지 판단하면 된다.

둘째는 승격 후보 제안이다.
반복되는 액션은 체크리스트 후보가 될 수 있고, 반복되는 의사결정 기준은 가이드나 방법론 후보가

될 수 있다.
AI는 이런 후보를 먼저 제안하고, 어떤 형식으로 끌어올리면 좋을지까지 추천할 수 있다.

셋째는 누락 축 점검이다.
특정 도메인 노트는 충분한데 기술이해 축은 비어 있다거나, Decision은 많은데 근거 링크가 부족하다거나 하는 구조적 빈칸을 드러낼 수 있다.
이 기능은 단순 요약기보다 운영 점검자에 가깝다.

넷째는 오래된 문서 리마인드다.
예전에 만든 노트 중 지금 판단과 연결될 수 있지만 잊힌 문서를 다시 소환해 줄 수 있다.
오래된 노트가 언제 다시 가치가 생기는지 사람이 일일이 기억하기는 어렵기 때문이다.

AI는 무엇을 읽어야 하는지 먼저 줄여준다

Distill에서 AI의 첫 번째 가치는 생각을 대신하는 데 있지 않다.
무엇을 읽어야 하는지 먼저 줄여주는 데 있다.

예를 들어 이번 주에 쌓인 Decision Log 중 비슷한 트레이드오프를 가진 것만 모아주거나, 최근 한 달의 Evidence 중 같은 문제를 말하는 항목만 추려줄 수 있다.
이렇게 되면 사람은 전체를 다 읽는 대신, 정말 볼 가치가 높은 묶음에 집중할 수 있다.

즉 Distill에서 AI는 판단을 대신하는 것이 아니라 탐색 비용을 줄여주는 쪽에서 가장 큰 힘을 낸다.

그렇다고 패턴 후보가 곧 원칙이 되는 것은 아니다.
어떤 반복은 우연일 수 있고, 특정 팀이나 특정 시기에서만 통했던 국지적 해법일 수도 있다.

사람은 패턴의 타당성과 적용 범위를 판단해야 한다

그래서 Distill에서 최종 판단은 사람이 맡아야 한다.

이것이 진짜 반복 패턴인가.
단순한 상황 반복이 아니라 판단 기준으로 일반화할 수 있는가.
다른 프로젝트에도 적용 가능한가.
체크리스트, 가이드, 방법론 중 어디까지 올릴 수 있는가.

이 질문은 맥락과 책임의 문제다.
그래서 사람의 몫이다.

반대로 패턴이 확인된 뒤의 초안 작성에서는 AI가 강하다.

반복되는 액션에서 체크 순서를 뽑아 체크리스트 초안을 만들고,
여러 Decision Log에서 공통 조건을 정리해 의사결정 가이드 초안을 만들 수 있다.

여러 프로젝트의 회고 조각을 합쳐 “이 상황에서 통하는 접근법”이라는 방법론 초안을 만들 수도 있고,
특정 작업에 필요한 근거, 결정, 관련 지식을 묶어 컨텍스트 패키지 초안을 만드는 데도 유용하다.

다만 여기서도 역할 분담은 분명해야 한다.

AI는 승격의 초안을 만들 수 있다

AI는 초안을 만들고, 사람은 그 초안이 실제로 적용 가능한 기준인지 검토한다.

Distill에서 AI를 잘 쓰려면 한 가지 전제가 있다.
구조가 먼저 있어야 한다는 점이다.

앞의 Organize 단계가 약하면 AI도 제대로 도움을 주기 어렵다.
같은 유형의 정보가 같은 객체로 모여 있고, 링크와 메타데이터가 일관되어 있어야 비교와 묶음을 안정적으로 제안할 수 있다.

즉 Distill에서 AI의 성능은 모델 자체보다 구조의 품질에 더 많이 좌우된다.
AI가 패턴을 잘 못 찾는다면, 그것은 모델의 한계이기 전에 구조가 덜 정리된 문제일 수도 있다.

현실적인 Distill 루틴은 사람과 AI의 역할이 나뉘어 있을 때 가장 잘 작동한다.

AI가 먼저 읽을 묶음과 패턴 후보를 제안한다.
사람이 그중 의미 있는 것만 선택해 승격 여부를 판단한다.
AI가 다시 체크리스트나 가이드 초안을 만든다.
사람이 적용 범위와 정확도를 조정한다.

이 구조가 좋은 이유는 분명하다.
사람의 판단 에너지를 정말 필요한 지점에만 쓰게 해 주기 때문이다.

노트 전체를 읽는 데 시간을 쓰는 대신,
패턴을 승인하고 기준을 명확히 하는 데 시간을 쓸 수 있다.

이번 글을 한 문장으로 정리하면 이렇다.
Distill에서 AI는 대체자가 아니라 탐색과 초안의 보조자다.

AI는 읽을 대상을 줄여주고, 패턴과 승격 후보를 먼저 제안하고, 결과물의 초안을 만들어준다.
사람은 그 패턴이 정말 타당한지, 어디까지 일반화할 수 있는지, 실제 기준으로 써도 되는지를 판단한다.

이 역할 분담이 분명할수록 Distill은 가벼워지고, 그 결과는 다음 단계의 산출물로 더 잘 이어진다.