brunch

매거진 미니시리즈 10부작 SEO

라이킷 5 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by episodekim Jun 18. 2019

05. 사랑에 빠진 크롤러

방황하는 크롤러 Sitemap의 손길로

지난번 SEO4 에서는 SEO에서 디자이너의 역할, 그리고 TEXT 디자인에 대한 중요성을 말씀 드렸습니다. 이번 포스팅은 SEO의 가장 핵심에서 열일하고 있는 크롤러의 사랑 이야기를 전해 드릴까 합니다. 크롤러(Crawler)가 뭐지? 궁금 하신 분은 아래 포스팅 [SEO2 - 검색원리와 개인정보보호]에서 확인하실 수 있습니다.

SEO 시리즈 중 매회 직/간접적으로 출현하는 우리 크롤러는 어제도 야근, 오늘도 야근, 내일도 야근을 할 예정입니다. 일을 시작한 후 아마 한번도 휴가를 못가고 있다는 소문도 무성합니다.ㅠ.ㅠ 불쌍한~~ ㅠ.ㅠ

이런 크롤러가 사랑에 빠졌다는데요... 그 연인의 이름이 바로 Sitemap이라고 합니다. 요기까지 읽으셨으면 이런 반응이 나오실 겁니다...이게 도대체 무슨 소리냐~~~?!!!!

이제 설명 드릴께요^^

네이버, 구글에서 내 홈페이지가 검색이 잘 되려면 내 홈페이지를 방문하는 크롤러에게 우리 홈페이지를 잘 수집해 갈 수 있도록 해야 한다고 말씀 드렸는데요. 바로 이 지점에서 크롤러가 사랑하는 한 연인 sitmap을 만나게 됩니다.

크롤러는 홈페이지를 수집할 때, 가장 먼저 하는일이 홈페이지가 저장되어 있는 서버의 최상위 폴더(root폴더)에 접근하여 이 홈페이지를 수집해도 되는지? 확인하기 위해 robot.txt 파일을 분석하게 됩니다. [robot.txt가 궁금하시면 아래 포스팅 SEO2 - 검색원리와 개인정보보호에서 확인하실 수 있습니다.]

분석한 결과 크롤러가 홈페이지를 수집해도 된다는 판단을 내리면? 크롤러는 홈페이지에 접속하여 정보를 수집하고 웹페이지에 구성되어 있는 다양한 링크를 따라 다른 페이지로 이동하여 또 다른 웹페이지를 수집하게 됩니다.

이때, 링크가 단순한 홈페이지의 경우는 크롤러가 정보를 수집할 때 문제가 없지만, 만약 쇼핑몰 처럼 엄청나게 많은 웹페이지를 가지고 있는 홈페이지라면? 크롤러가 링크를 찾아 가다가 길을 잃게 됩니다.

길을 잃은 크롤러는 다양한 방법으로 다시 링크를 찾아 웹페이지를 수집하려 노력하지만, 너무 복잡한 홈페이지의 경우는 결국 포기하게 되고 다른 홈페이지를 찾아 떠나게 됩니다. 이런 상황이 발생하면 내 홈페이지의 웹페이지 수는 1,000개인데, 실제 수집된 웹페이지가 100개도 안 되는 경우가 발생하게 됩니다.

그런데, 아무리 복잡한 홈페이지라도 단 한개의 웹페이지도 놓치지 않고 수집되는 경우가 있는데 그 이유는? 크롤러가 그 홈페이지에 있는 sitemap과 만나 사랑에 빠졌기 때문입니다.^^

sitemap이란? 홈페이지에 있는 정보가 어떻게 설계(IA / Information Architecture)되어 있는지?를 표준화 된 규칙으로 작성한 xml파일을 말하며, 크롤러가 복잡한 홈페이지에서 길을 잃지 않게 도와 주는 동반자 역할을 해 줍니다

크롤러는 해당 홈페이지의 길을 잘 알고 있는 동반자인 sitemap을 만나 알려주는 대로 따라가면, 정말 편리하게 웹페이지를 수집할 수 있게 됩니다. 이때부터 크롤러는 sitemap과 사랑에 빠지게 되었습니다.^^

검색 포털에서는 크롤러의 수집 알고리즘을 공개하지 않기 때문에 정확하게는 알 수 없지만, 한 때는 홈페이지 수집 우선순위를 정할 때 sitemap.xml이 있는 홈페이지부터 수집한다는 소문도 있었습니다

이 소문이 진실이든, 아니든, sitemap이 잘 구성되어 있으면 우리 홈페이지가 빠짐없이 검색엔진에 노출될 수 있으니 SEO에서는 sitemap 작성은 필수입니다. 따라서, 여러분이 홈페이지를 운영하실 때, 크롤러가 사랑하는 sitemap을 제공해서 내 홈페이지의 정보가 빠짐없이 크롤링 될 수 있게 해 주세요~

마지막으로 Sitemap 적용방법을 알려 드리고 마칠께요^^

1. 먼저 sitemap.xml을 생성해야 하는데, 다양한 사이트에서 sitemap.xml을 무료로 생성해 줍니다. 아래URL에 들어가셔서 우측상단에 Create / retrieve XML Sitemap 이라고 표시되어 있는 곳에서 내 홈페이지 주소를 입력하고 몇가지 설정 후 [Create free XML sitemap] 버튼을 클릭하시면 sitmap.xml 파일로 다운로드 받으실 수 있습니다.

sitemap 무료생성 사이트 URL http://www.web-site-map.com/?

2. 다운로드 받은 sitemap.xml 파일은 내 홈페이지 가장 상위 root 폴더, 즉 robot.txt 파일이 있는 위치에 업로드 하시면 됩니다. 정말 쉽죠?^^

그런데, 문제가 생겼습니다.

최근에 크롤러가 사랑한 연인 sitemap과의 관계가 소홀해 지더니 sitemap보다 더 자주 만나는 새로운 연인이 나타났다고 합니다. 다음 포스팅에는 크롤러의 삼각관계에 대한 이야기해 드릴께요^^

대단히 감사합니다.

미니시리즈 10부작 SEO
01.돈 버는 SEO
02. 내 홈페이지를 누가 가져간다고?
03. SEO로 신규고객 30배 증가
04. SEO의 시작은 디자인!
05.사랑에 빠진 크롤러
06.삼각관계
07.첫만남
08.og는 이야기
09.내 웹페이지 포털 실시간반영
10.내 말이 아닌 남의 말
[번외편]SEO의 역습