AI 브라우저 코멧을 이용한 크롤링
웹사이트 자료 수집하는 노가다 시대는 끝!!
이전 자료에서 퍼플릭시티 코멧 브라우저에 대해 설명 드렸습니다.
10월에 한국 사용자들에게 무료로 사용가능하게 되면서 계속 사용중인데
이게 기능이 정말 막강합니다.
크롬브라우저랑 번갈아 가면서 사용하고 있는데 코멧브라우저를 더 많이 사용 하는거 같습니다.
|브라우저 크롤링
브라우저 크롤링이란 웹 브라우저를 이용하여 웹사이트의 데이터를 자동으로 수집하는 작업을 의미합니다. 즉, 사람이 직접 웹페이지를 하나씩 방문하며 필요한 정보를 복사하지 않고, 프로그램이나 도구(예: 파이썬의 Selenium, Puppeteer, Playwright, 또는 코멧 브라우저 자동화 등)를 활용해 원하는 정보를 자동으로 모으는 방식입니다.
크롤링 설명을 하려고 코멧 브라우저에서 우측 상단의 어시스턴트 버튼을 클릭하고
아래에 바로 브라우저 크롤링? 이라고 검색을 해보았습니다.
검색에 나온 내용을 지금 보시는 포스팅에 복사해서 넣었네요.
이런 기능이야 크롬 확장프로그램을 통해서도 가능한데?
라고 하실 수 있죠. 간단한 기능만 먼저 말씀드려 보았어요
| 브라우저 크롤링을 하기
기존 브라우저 크롤링 하는 방법들은 다양하긴 했습니다.
1. 복사, 붙여넣기... 정리.
2. 크롬 확장프로그램을 사용.
3. 파이썬 프로그램을 이용해서 프로그래밍 하기
4. 내가 필요로 하는 크롤링 기능을 개발자에게 의뢰
저는 프로그램을 조금 할 줄 알아서 간단한건 만들어서 사용하곤 했습니다.
코멧 브라우저가 나오고나서 'AI 에이전트 브라우저'의 새로운 가능 성을 봤어요.
이게 더 발전한다면 정말 우리의 일을 많이 줄여줄 수 있겠다 싶습니다.
몇가지 예를 들어 볼께요.
1. 쇼핑몰 상품 분석을 위한 경쟁사 제품 리스트 가지고 오기
온라인 쇼핑몰 운영하시는 분들은 새로운 상품 기획 하기전 시장 조사는 필수겠죠?
쿠팡, 네이버에 들어가서 내가 판매하고자 하는 상품의 가격, 스펙, 상품명.. 등등 비교 분석은 필수입니다.
이제 코멧에게 이렇게 요청 하시면 됩니다.
쿠팡에서 '할로윈 선물' 키워드로 검색 후 리스트 화면에서 광고를 제외하고 상위 30개의 상품 제목, 후기(별점), 가격, 판매방식(로켓배송, 판매자로켓, 일반배송), 상품링크를 정리해서 csv 형태로 만들어줘
* 아래 영상들은 실제 작업 하는과정을 녹화한 영상이라 시간이 조금 걸린답니다.
마지막 화면에 보시면 CSV 형태로 결과 출력만 되고 그걸 복사해서
csv 파일로 만든다음 구글 스프레드시트나, 엑셀에서 불러와서 한번더 작업을 해줘야 된다는 아주 약간의 불편함이 있습니다.
이건 코멧에서 기능 업그레이드 되길 희망합니다.
아니면 ChatGPT 에서 한번 가공 하셔도 됩니다.
깔끔하게 정리되어 나왔습니다.
이제 시장 조사는 했으니 이내용을 가지고 ChatGPT에서 데이터 요약이나 가공하면 되겠죠.
2. 경쟁사의 상품 후기 가지고 와서 분석하기
쿠팡이나 네이버에서 상품 후기 수집 해보면 이것저것 막힌게 많아서 복사해서 붙여넣기가 거의 안되고 다른 프로그램을 이용해서 수집을 하곤 하죠.
이것도 코멧에게 요청해 보겠습니다.
지금 보고 있는 페이지 상품의 구매후기 20개 크롤링해서 csv 형태로 만들어줘
후기 데이터 제대로 가지고 왔네요.
이 자료도 ChatGPT 에서 한번 가공하면 더깔끔하게 사용하시면 됩니다.
한가지 팁을 더 드리면
전 저렇게 경쟁사 상품리스트와 후기를 ChatGPT 채팅에 한번에 넣고
상품명 분석, 후기분석, 페르소나 생성 작업등을 요청해서 시장 조사 작업을 하고 있답니다.
퍼플릭시티가 인터넷 검색과 결과 요약에 최적화 되어있다보니
내용 취합해서 더 좋은 데이터로 만들기 위해서는 ChatGPT 나 제미나이 같은 LLM 툴을 같이 사용하시는게 업무 효율성에 훨씬 도움이 됩니다.
2. 마케터들을 위한 블로그 상위 리스트 조사
바이럴 홍보를 위해서 블로그 협찬 진행할 경우도 있겠죠.
네이버에서 "할로윈 선물" 검색 후 상위 블로그들 정보를 수집하고
협찬 메일을 보낼 수도 있고, 상위 게시글 들의 제목 패턴 분석 용으로도 사용하실 수 있겠죠.
네이버 블로그에서 "할로윈선물"을 검색하고 상위 20개 리스트의 블로그명, 제목, 블로그 주소 정리해서 표로 만들어줘
이번에는 표로 깔끔하게 만들어주네요.
2가지 예를 들었지만 활용하는 방법은 정말 다양할듯 합니다.
여러분이 어떤 자료를 수집하고 싶으세요?
지금까지 말씀드린 내용은 퍼플릭시티에서 "할로윈선물" 키워드로 쿠팡 상품 20개 가지고 오라고 명령하는 것과는 완전 다른 결과를 가져온답니다.
위 코멧브라우저 어시스턴트는 실제 쿠팡에 접속하고 "할로윈선물" 검색한다음 지금 실제 데이터를 자동으로 가지고 오는 거니까요.
AI툴은 하나라도 얼마나 깊이 있게 써보느냐.
이툴로 내 업무에 어떻게 적용할꺼고 효율성을 높일 수 있는 다른 방법은 없을까?
항상 고민 해봐야 할 문제 인거 같습니다.
궁금한 점들은 댓글 부탁드립니다.
저희 오픈 채팅방에서 인사이트 공유도 하고 있습니다.
AI 일잘러 : https://open.kakao.com/o/gl9MAbWh
