파이썬 몰라도 크롤링 가능합니다

데이터를 분석하다 보면 제품을 구매한 고객 후기를 분석하는 게 제품 또는 서비스의 문제점을 파악하는 가장 빠른 방법이라는 생각을 한다. 아무리 좋은 재료를 쓰고 분석을 통해 훌륭한 제품을 출시해도 고객 마음에 들지 않으면 소용없기 때문이다. 오랜 시간을 들여 제품을 출시했는데 고객한테 외면받는 것만큼 가슴아픈 일도 없다. 나는 출근을 하면 평점이 낮은 후기와 고객 불만부터 확인한다. 마켓컬리 김슬아 대표가 쓴 책을 보고 그렇게 습관을 들였는데, 5점 만점에 1점 리뷰들은 대부분이 제품 검수 및 배송 관련 내용이 많다. 리뷰를 분석할 때 양이 적으면 하나씩 확인해도 되지만, 리뷰의 수가 엄청나게 많거나 분석 기간이 긴 경우(최근 6개월 내지 1년) 웹 크롤링을 하는 게 효율적이다.

웹 크롤링이란 웹 상에 존재하는 데이터를 프로그램을 써서 수집하는 것을 의미하며 이를 위해 쓰는 프로그램을 크롤러라고 한다. 크롤링을 하려면 파이썬이나 R 프로그래밍 언어를 배워야 하는데 개발자가 아닌 이상 언어를 잘 활용하기에 장벽이 높다. 파이썬으로 크롤링을 한다고 가정해보면 일단 파이썬을 쓰기 위한 프로그램을 깔아야 하고 강의를 들으면서 예제를 따라하게 되는데 이걸 내 서비스에 어떻게 활용할지 막막해하는 분들이 대부분이다. 지식이란 활용하지 못하면 가치가 떨어진다. 크롤링이 뭔지는 알겠는데 직접 쓰지 못하면 의미가 없다는 얘기다. 그치만 파이썬을 꼭 알아야 크롤링을 할 수 있는 건 아니다. 마우스 클릭 몇 번으로 크롤링하는 방법이 있는데 많은 분들이 모르는 것 같아 소개드릴까 한다. 서비스 이름은 ‘리스틀리’라는 서비스인데 관련한 자세한 소개는 아래 링크를 참고하시면 된다.

아마존과 쿠팡이 쓰는 툴이 한국 SW였다 : 개발자 필요없는 크롤링 서비스 리스틀리 사용기

요즘 육아를 하느라 아기용품에 관심이 많고 가장 많이 사는 물건도 애기 관련 용품이다. 그중 가장 민감한 제품이 바로 젖병이다. 아무리 다른 사람한테 좋은 국민 젖병이라고 해도 우리 애기한테 맞지 않으면 소용이 없다. 쿠팡에서 젖병을 검색하면 ‘더블하트’ 젖병이 가장 먼저 나온다. 후기도 거의 2만 개 정도 있는데 이 중 1~2점 후기만 크롤링을 해서 워드 클라우드로 시각화를 해봤다. 워드 클라우드는 반복해서 확인되는 단어는 크게 표기해서 전체 데이터를 구름 형태로 데이터 시각화하는 기법이라고 이해하시면 된다. 이것 역시 파이썬을 통해 할 수 있지만 인터넷 서칭을 해보면 이런 서비스를 제공하는 곳이 많다.

WordItOut

평점이 낮은 리뷰에서 가장 많이 언급된 단어들

워드 클라우드만 보면 뭐가 문제인지 한 번에 파악하는 게 어렵다. 그래서 수집된 후기를 보니 배송이 늦었다는 내용과 사이즈가 작다는 의견, 이물질이나 스크래치가 있는 제품의 후기의 점수가 낮았다. 이렇게 크롤링을 활용하면 많은 양의 데이터 패턴을 100%까진 아니더라도 대략적으로 파악할 수 있다. 신제품을 출시하는 부서나 경쟁사 제품 분석이 필요한 경우 후기를 크롤링해서 분석하면 인사이트 내지 아이디어를 발견할 수 있지 않을까 생각된다. 뿐만 아니라 홈쇼핑 편성표도 매일 정해진 시간에 크롤링하거나 특정 단어가 포함된 뉴스 기사를 매일 스크랩해야 되는 경우라면 굉장히 시간을 아껴주는 좋은 방법인 것 같다.

리스틀리는 크롬 확장 프로그램으로 간단하게 설치할 수 있고 1페이지 크롤링은 무료다. 여러 페이지를 크롤링하거나 스캐쥴링 기능은 유료 버전을 사용해야 한다. 반복적인 업무가 많거나 크롤링을 활용해야 하는 업무가 많다면 회사 차원에서 결제를 하는 것도 나쁘지 않다고 본다. 앞으로 마케터의 역할은 반복되는 업무를 자동화하고 고객 세분화를 통해 개인화된 메시지를 전달하는데 초점이 맞춰질 것이다. 크롤링은 이러한 마케터의 역할을 뒷받침 해줄 수 있는 유용한 방법이다. 아래 영상은 데모 영상이에요 

카이로스님이 브런치에 게재한 글을 편집한 뒤 모비인사이드에서 한 번 더 소개합니다.