브랜드명으로부터 회사 이메일 수집

배경

이번 고객은 특정할 순 없지만 국내에서 꽤 유명한 어플 서비스 업체의 담당자였다. 아마도 개인적 의뢰라기보다 회사 차원의 업무 용역에 가까웠다.

하려고 하는 작업이 상품 브랜드 키워드를 통해 관련 회사 홈페이지를 찾고, 이로부터 마케팅 메일을 보낼 수 있는 이메일 주소를 대량으로 수집하는 것이었다.

대충 해보니, 1개 작업 시간이 빨라도 1분 정도였고, 총 브랜드 수가 5000개가량이었으니 5000분, 한 사람이 하루 종일 매달려도 대략 2주가 걸리는 반복 업무였다.

원하는 자동화

원하는 바는 단순히 사람이 하는 그 과정을 그대로 자동화해서 빠르게 관련 회사별 이메일 목록을 추출하는 것이었다.

workflow 설계

1. 브랜드 키워드 목록 입력 - 약 5000개 엑셀시트 파일

2. 목록 추출

3. 브랜드 키워드마다, AI에게 국내 제조 판매 회사명, 공식 홈페이지, 이메일 주소 추출(웹페이지 크롤링 포함)

4. 결과목록을 모아 다시 엑셀시트로 다운로드

후기

5000 개 가까운 횟수로 빠르게 LLM API 호출이 있다 보니 rate limit에 걸리거나 토큰 소진이 생각보다 상당했다. 역시 이 때문에 자연스레 시간도 꽤 오래 걸렸다.

그래서 초기 버전 결과를 확인해 보니, 생각보다 신뢰도가 낮았다. 전략을 바꿔 2차 수정에서, 회사명까지는 직접 찾아서 넘기면, 이를 통해 홈페이지를 찾고, 개별 링크의 html을 파싱 해서 email을 추출하는 방식으로 변경했더니, 꽤 괜찮은 신뢰도의 결과를 얻을 수 있었고, 프롬프트도 많이 최적화되어 토큰 소진도 현저히 줄일 수 있었다. 여기서 최근에 업데이트된 sub workflow까지 적용했다면 시간은 수배 이상 빨라졌을 거라 예상된다.

예상보다 변수가 많았고, 그만큼 새로 배운 내용도 많은 재밌는 프로젝트였다.

업무 자동화 흐름의 현장에 서있는 입장에서 늘 실감하지만, 진짜 일하는 방식의 대전환이 시작됐다.