회사 돈으로
웹 크롤링을 배우게 된 이유
팀장님이 의심하는데도
*이 글은 MD에서 데이터 전문가로의 커리어 변신을 꿈꾸는 평범한 문과생의 현재 진행형 도전기입니다. 좋아요와 공유, 댓글로 글쓴이에게 힘을 주세요!
이전 글 보러 가기 -> (링크)
나는 관심이 가는 게 생기면 한번 해보고 이내 질리는 습성을 가지고 있다. 대학 시절엔 서양미술사 공부, 드로잉, 랩을 조금씩 건드렸다가 말았다. 회사에 들어오고 돈을 벌자 스케일이 조금 더 커졌다. 한 달치 월급을 지불하고 타투를 배우기도 했고, 카페 차리겠다고 커피를 배우기도 했다. 또 언제는 글을 쓴답시고 고시원에 들어갔다가 지독한 소음과 온몸 가려움에 일주일 만에 항복하기도 했다. 이런 나를 보고 우리 아버지는 "똥을 꼭 먹어 봐야 하냐"면서 핀잔을 주시고, 어머니는 "그러다가 똥독 오른다"며 당신이 한 말에 되레 웃으시곤 한다.
종종 스스로가 어처구니없다. 내가 다방면에 재능이 있는 사람이라, 건드리는 것마다 소질을 보이는 건 전혀 아니다. 오히려 평균보다 미달일 때가 대부분이다. 타고난 기억력이 좋지 않아 책을 읽거나 영화를 봐도 그때뿐이다. 그림은 아마 예고를 준비를 하는 중학생보다 못 그릴 것이다. (물론 그림을 잘 그리느냐 못 그리느냐의 기준을 정확한 사물의 재현 능력이라고 생각하지는 않는다. 다만 아그리파 같은 석고상 데생을 시켜놓으면 나는 내 멋대로 삐뚤빼뚤하게 그릴 거라는 소리다.) 왜 이러나 가만 생각해보니, 관심이 가는 분야가 생기면 지금껏 알았던 것은 모두 잊어버리고, 그것만 머릿속에 떠다닌다. 요즘은 그게 데이터고 프로그래밍이다. 그래서 파이썬 수업을 듣고 있지만 언제 또 그만둘지는 모른다. 이렇게 생각한다.
이건 그저 툴일 뿐이다. 파이썬이라는 훌륭한 연장으로 내가 무엇을 할 수 있을까? 솔직히 말하면, 내가 이걸로 어떻게 돈을 벌 수 있을까?
나름 4년 가까운 시간을 회사에서 일한 경험으로 회사가 쉽게 월급을 주는 곳이 아님은 알고 있다. 반대로 성과를 보이면 그에 상응.. 까지는 당연히 아니고, 등을 두들겨주는 수준의 보상을 지급하는 곳이라는 것도 알고 있다. 내가 데이터로 뭘 할 수 있을까 떠올려 보았다.
나는 홈쇼핑 MD를 하고 있다. 시장 현황을 조사하고 시장에 팔릴만한 상품을 기획하기 위해서는 전체 홈쇼핑 방송에 대한 정보가 필요하다. 하지만 매 순간 하루도 쉬지 않고 진행하는 홈쇼핑 편성을 분석 가능한 데이터의 형태로 제공하는 곳은 당연히 없다. 그나마 홈쇼핑모아 라는 사이트가 있긴 하지만, 여기서는 단순히 최근 며칠의 방송을 조회하는 것이 전부다. 이걸 누적된 데이터 저장하고 분석하기 위해서는 어떻게 해야 할까? 웹 크롤링을 통해 웹사이트의 정보를 데이터로 저장할 수 있다.
웹 크롤링 (Web Crawling) 혹은 웹 스크래핑(Web Scraping)이란 컴퓨터 소프트웨어를 통해 웹 페이지에 있는 원하는 정보를 추출하는 것이다.
쉽게 말해 코딩으로 인터넷에 있는 원하는 정보를 한 번에 다운로드하는 것이다. 물론 최고의 발명품이라 불리는 복붙을 통해서도 정보를 저장을 할 수는 있다. 홍대에 맛집 리스트 10개 정보는 복붙을 통해 금방 만들 수 있다. 하지만 그 페이지가 하나가 아니라면? 수십수백 개를 매일 해야 한다면? 다시 홈쇼핑으로 돌아오면, 보통 하루치 편성표를 정리하는 데에 약 1시간이 걸린다. (실제로 종종 신입사원들을 시켜서 하기도 한다.) 하지만 매일 이런 일을 하는 것은 비효율적이다. 그런 이유로 타사 홈쇼핑 편성 분석은 우리 회사에서 정기적으로 하지 않고 있다. 하지만 웹 크롤링을 통해, 코드 단 몇 줄로 눈 깜짝할 사이에 자동 수집되는 프로그램을 만든다면? 그러면 전체 홈쇼핑 시장을 한눈에 조망할 수 있을 뿐만 아니라, 보고서를 만들기 위해 노가다를 하는 시간도 획기적으로 줄어들 것이다. 그래서 나는 팀장님께 패스트캠퍼스에서 진행하는 'R을 통한 웹 크롤링' 교육을 받게 해달라고 건의했다. 팀장님은 그거 배워서 무엇을 할 거냐고 되물으셨다.
