AI시대 마케터 (1) ML 방법을 콘텐츠에 적용하기

대 AI 시대, 어떤 마케터가 살아남을까?

나는 이 질문에 마케터로 살기로했다면 살아남을 수 없다고 대답하겠다. 뎁스있는 직무 역량는 여전히 중요하지만 요즘처럼 다양한 기회와 아이디어가 있는 시대에는 다루던 영역이 아니라도 과감히 내가 하던 일과 연결시켜보는 것이 가장 중요한 것 같다.

대충 내가 다루고있는 업무다.

콘텐츠/그로스/퍼포먼스 + 여기에 프로덕트 기획/개발을 함께 하는중이다 (정리해보니 진짜 많으네 ..)

리얼 허거덩거덩스한 업무 분류긴하지만 Claude Code의 에이전트들과 AI 구루들이 오픈소스로 풀어준 Skills을 사용해서 연명하고 있는 중이랄까 .. 그래서 AI 시대의 마케터로 어떻게 일하고있는지를 간간히 적어볼 예정

(1) 마케터가 만드는 큐레이션 봇/서비스

콘텐츠 큐레이팅의 문제: "좋은 소스"를 찾는 게 가장 어렵다

AI 뉴스, 도구 활용법, 인사이트를 수집해서 웹 피드와 Slack으로 전달하는 큐레이션 봇을 만들고 있습니다. RSS, Reddit, Hacker News, YouTube 등 106개가 넘는 소스에서 콘텐츠를 긁어오는 구조인데요.

콘텐츠 큐레이션에서 가장 중요한 건 소스 품질이에요.
아무리 AI 요약을 잘해도, 원본 소스가 별로면 결과물도 별로거든요.
그래서 좋은 소스를 계속 발굴하고 밀어넣는 게 핵심 업무였습니다.

문제는 이걸 개선하는 작업이 꽤 수동이었다는 거예요.

새 소스를 찾으려면 직접 블로그, RSS를 검색하고 하나씩 확인

등록한 소스가 시간이 지나면서 품질이 떨어져도 알 길이 없음

소스가 100개를 넘으니 "어떤 소스가 좋고 어떤 게 별로인지" 감으로만 판단

좋은 소스를 찾는 데 시간이 가장 많이 들었어요. 그런데 이걸 계속 사람이 해야 하나? 하는 의문이 있었어요.

갓파시의 AutoResearch를 보고 얻은 아이디어

그러다 Karpathy가 공개한 AutoResearch를 발견했습니다! 630줄짜리 스크립트인데,핵심 아이디어가 매우 좋았어요.

실험 → 측정 → 유지/폐기 → 반복

AI 에이전트가 ML 코드를 수정하고, 5분간 학습시키고, 결과가 좋으면 유지하고 나쁘면 롤백해요. 이걸 하루에 100번 반복하면서 스스로 개선되는 구조였는데요.

"이 패턴이 ML에만 적용되라는 법은 없잖아?"

측정할 수 있는 품질 지표가 있고, 그 지표에 따라 자동으로 의사결정하는 구조
— 이건 소스 관리에도 그대로 적용할 수 있었어요.

소스 자동 개선 루프 설계 과정

아이디어는 명확했지만, 실제로 만들려면 구체적인 설계가 필요했어요.
Claude Code와 대화하면서 설계를 발전시켰는데, 핵심적인 결정이 세 가지 있었어요.

결정 1: 품질을 어떻게 측정할까?

가장 고민이 많았던 부분이에요. 사용자 피드백을 기다리자니 데이터가 너무 느리게 쌓여요. 하루에 수백 개 콘텐츠가 수집되는데, 사람이 일일이 "좋아요/별로"를 누르는 건 현실적이지 않았습니다.

해결: LLM이 직접 채점 (LLM-as-judge)

콘텐츠를 수집하고 정리하는 시점에, Gemini가 3가지 축으로 1~10점을 매기게 했어요:

종합 점수 공식: relevance × 0.5 + freshness × 0.25 + depth × 0.25

관련성에 50% 가중치를 준 이유가 있어요. 아무리 깊이 있고 새로운 글이어도 우리 독자와 관련 없으면 의미가 없으니까요. 정치 분석 글이 아무리 잘 쓰여도 AI 큐레이션 피드에는 필요 없는 것처럼요.

결정 2: 언제 소스를 끌까? 언제 새 소스를 찾을까?

단일 콘텐츠 하나가 낮은 점수를 받았다고 소스를 꺼버리면 안 돼요.
좋은 소스도 가끔 별로인 글을 올리니까요.

해결: 소스 레벨 평균, 최소 20개 샘플

여기서 발굴 트리거가 AutoResearch 패턴의 핵심을 가져온 부분이에요. 단순히 나쁜 걸 끄는 게 아니라, 잘 되는 소스의 DNA를 복제하는 거예요. 평균 7점 이상인 RSS가 있으면 Gemini에게 "이 블로그랑 비슷한 AI/기술 블로그 3개 추천해줘"라고 물어보고, 추천받은 URL을 검증해서 자동으로 등록해요.

결정 3: 만약 채점이 잘못되면?

AutoResearch에서 가장 인상 깊었던 부분이 "잘못된 실험은 롤백한다"는 안전장치였어요.

우리 시스템에서도 같은 걱정이 있었어요. 만약 Gemini의 채점 기준에 버그가 있어서, 모든 소스가 4점 미만으로 나온다면? 소스가 전부 꺼져요. 콘텐츠 수집이 멈춰요. 재앙이에요.

해결: 3중 안전장치

사이클당 최대 3개만 비활성화 — 한 번에 다 꺼지는 일 방지

활성 소스 최소 5개 유지 — 아무리 점수가 낮아도 5개는 보호

20개 미만 샘플이면 판단 보류 — 데이터가 충분하지 않으면 건드리지 않음

구조적으로 전부 꺼지는 일이 불가능하게 만들었어요.
AutoResearch의 "롤백" 정신을 "파괴 방지"로 번역한 거예요.

결정 4: Exploit만으로 충분할까? — Explore의 필요성

여기까지 만들고 나서 한 가지 빈 곳이 보였어요.
유사 소스 발굴(Exploit)은 이미 좋은 소스와 비슷한 걸 더 찾는 거예요.
7점 이상인 AI 블로그가 있으면 비슷한 AI 블로그를 추천받는 거죠.

그런데 이건 같은 동네에서만 계속 찾는 거예요. AI 코딩 블로그가 좋으면 AI 코딩 블로그만 더 추가되고, 소프트웨어 아키텍처나 제품 관리 같은 다른 시각의 소스는 영원히 발견할 수 없어요.

ML에서 많이 쓰이는 Explore vs Exploit 개념에서 아이디어를 얻었습니다!

AutoResearch 패턴에도 이 개념이 있어요. 기존 방향을 개선하는 것(Exploit)만으로는 국소 최적해에 갇힐 수 있어요. 가끔은 전혀 다른 방향을 시도해봐야(Explore) 진짜 좋은 소스를 발견할 수 있어요.

해결: 주 1회 월요일에만 탐험

Explore는 Exploit보다 리스크가 높아요. 추천받은 소스가 전혀 쓸모없을 수도 있으니까요. 그래서 매주 월요일에만, 최대 2개까지 실험적으로 추가하게 했어요.

Gemini에게 "현재 구독 중인 소스 목록을 줄 테니, 이 목록에 없는 완전히 새로운 분야의 AI/기술 RSS를 추천해줘"라고 물어봐요. 핵심은 기존과 겹치지 않는 새로운 영역을 찾는 거예요. 추천받은 URL을 검증해서 RSS가 실제로 작동하면 tier 'C'로 등록해요. 이후에는 기존 채점 루프가 알아서 평가하고, 점수가 좋으면 살아남고 나쁘면 자연스럽게 비활성화돼요.

첫 Explore 테스트 결과: Gradient Dissent(Weights & Biases의 ML 블로그)와 Martin Fowler(소프트웨어 아키텍처 블로그)가 추가됐어요. 기존에 순수 AI 블로그 위주였는데, ML Ops 관점과 아키텍처 관점이 들어온 거예요. 이런 소스에서 나오는 콘텐츠가 오히려 더 깊이 있는 인사이트를 줄 수도 있어요.

결과: 매일 새벽 3시, 봇이 알아서 돌아간다

이 루프는 매일 새벽 3시에 자동 실행돼요. 왜 3시냐면, 콘텐츠 수집 cron이 6시간마다 돌고 있거든요.
하루 동안 쌓인 콘텐츠가 모두 채점된 상태에서, 다음 날 수집이 시작되기 전에 소스 정리를 끝내는 거예요.
아침에 출근하면 이미 정리된 상태에서 새 콘텐츠가 들어오는 구조예요.

전체 흐름은 이래요:

Slack 리포트에는 이런 내용이 담깁니다!

첫 실행

아직 비활성화 대상(4점 미만)도, 발굴 후보(7점 이상)도 없었어요. 모든 소스가 5~6점대 "보통" 수준이었어요.

하지만 이게 이 시스템이 만족스러운 이유인듯합니다. 데이터가 쌓이면 쌓일수록 소스 간 차이가 벌어지면서, 자연스럽게 저품질은 꺼지고 우수 소스 근처에서 새 소스가 발굴돼요. 사람이 개입하지않아도 시간이 지날수록 알아서 좋아지는 구조. 지금은 관찰 단계지만, 2주 후면 소스별로 충분한 데이터가 쌓여서 실제 비활성화와 발굴이 시작될 거예요.

이 경험에서 얻은 가장 큰 인사이트는 ..

AutoResearch 패턴은 "측정 가능한 품질 지표 + 자동 의사결정 규칙"이 있는 모든 곳에 적용할 수 있다는 것

마케터기도하고 ML의 원리도 잘 이해하고있는게 아니라 Autoresearch 개념이 어렵게 느껴졌는데 그럴 때 클코를 키고 레포를 함께 들여다보며 차근차근 이해하며 적용해본 점이 좋았습니다!

핵심은 세 가지인듯합니다!

숫자로 잴 수 있는 품질 지표가 있는가

자동으로 실행할 수 있는 액션(끄기, 추가, 수정)이 있는가

잘못되었을 때 복구할 수 있는 안전장치가 있는가

이 세 가지가 있으면 여러분의 영역에서도 AutoResearch 패턴을 적용할 수 있어 업무 개선에 크게 도움이 될 것 같아요!