주말에 IT 이야기
by
Mar 22. 2025
데이터 분석 시 크롤링 기술은 참 중요하다. 지금은 AI의 보급으로 크롤링 기술이 일반화가 되어, 크몽에서도 수많은 크롤러가 있지만. 내가 인정하는 국내 1호 크롤러는 이 이 분이다. 예전에도 늘 말했듯이
https://github.com/YoongiKim/AutoCrawler
이 분 이후로 크롤링에 대한 관심이 지대하게 높아졌다고 보면 되겠다.
나는 엔터프라이즈급 크롤링을 위해 광화문에서 대기업 프리랜서를 하며 크롬을 자체 빌드하였다. 데스크톱 플러그인 기능이 모바일에 없기 때문에 모바일 크롬에 플러그인 기능을 구현해서 새롭게 만들어서 엔터프라이즈 앱으로 배포하고 시현도 했다. 사실 돈 받으면서 개인 공부한 셈인데, 난 크롤링의 끝은 결국 브라우저 제어라고 여겼기 때문이다. 파이썬으로 만들어도 되겠지만 직접 브라우저를 만들어서 하는 자동하는 완전히 다른 영역이다. 다만, 이런 류는 개인이 하기엔 조금 버겁기도 하고 인공지능으로 자동화하기 정말 힘들다.
그래서 요즘 대세인 파이썬 크롤링을 이용하면, 아래 두 영상과 같이 쇼핑몰도 크롤링할 수 있고,
https://www.youtube.com/shorts/TSQIZs8Uwfo
https://www.youtube.com/shorts/vNc4sn65fxI
이렇게 자료를 뽑아낼 수 있다.
