15 매일 반복하는 데이터 수집을 그만할 수 없을까

실무를 하다 보면 매일 반복하는 일들이 꽤 있다. 특히, 특정 웹사이트에 접속해서 매일 정보를 복사하여 엑셀에 붙이는 업무를 하는 경우가 많다. 예를 들어, 업무상 환율 정보가 중요한 경우가 있다. 이럴 때 주로 포털사이트인 네이버에 접속하여 환율 정보를 복사하여 엑셀에 붙이게 된다. 아래와 같이 말이다.

매일 이와 같은 반복업무를 하는 것이 어렵지는 않지만, 은근히 시간을 많이 소비한다. 이런 일을 자동으로 된다면 얼마나 좋을까? 회사에서 이런 일을 대신해주는 시스템을 만들어준다면 좋겠지만, 예산이 부족한 상황에서 실무자를 위해 시스템을 만들어주는 회사는 찾아보기 힘들다. 이렇게 웹사이트에 있는 정보를 긁어오는 것을 ‘웹 데이터 크롤링(crawling)’이라고 한다. 그리고 이런 일을 대신 해주는 기능을 ‘크롤러’라고 하는데, 이러한 서비스를 제공하는 회사들이 있다. 국내에서는 ‘에스크윈드’와 같은 회사들이 이러한 솔루션을 회사에 도입하여 사용하는 시스템을 제공하고 있다. 물론, 회사 차원에서 도입을 해야 하고 비용도 꽤 들어간다. 해외 서비스 중에서는 아래와 같이 ‘import.io(https://www.import.io/)’라는 곳도 있다. 무료 회원가입을 하면 7일간 무료로 사용할 수 있다.

회원가입을 하고 이메일 인증을 받고 나면 바로 사용할 수 있다. 아래와 같이 접속하면 환율 정보를 확인하는 웹 사이트 주소를 입력하여 우측의 빨간 버튼인 ‘Get Your Data Now’를 클릭하면 된다. 그러면 해당 페이지를 로딩 한다. 해외 사이트이기 때문에 몇 분의 시간이 소요되기도 한다.

아래와 같이 원하는 정보들을 크롤링 하도록 쉽게 선택할 수 있다.

어떤 정보들을 가져올 것인지는 아래와 같이 엑셀에서 피벗테이블을 만드는 것과 유사하게 할 수 있다.

뿐 만 아니라, 아래와 같이 업데이트 주기도 설정할 수 있다. 매일 받을 수도 있고 변경될 때마다 업데이트 하라고도 할 수 있다. 원하는 옵션을 선택하기만 하면 된다.

우측 하단의 빨간 버튼인 ‘Save and run’을 클릭하면 아래와 같은 창이 나타나고, 자료를 다운 받거나 메일로 받을 수 있다.

유료 서비스이고 영어로 되어 있기는 하지만 편리하게 웹 데이터를 크롤링 할 수 있다. 그러나 유료 서비스가 부담스러운 경우에는 이러한 웹 데이터 크롤링을 직접 만들어서 사용할 수 있다. 엑셀 VBA나 파이썬 등을 사용해서 말이다.