SEO의 기본, Robots.txt 세팅하기

홈페이지 무료 홍보 방법

자신이 만들어낸 홈페이지를 돈 없이 홍보하는 좋은 방법 중에 하나가 바로 SEO (Search Engine Optimization)이며, 다른 말로 하면 검색엔진 최적화이다.

검색엔진 최적화가 잘 되어 있는 웹사이트의 경우 그렇지 않은 사이트에 비해 검색엔진에 더 많이 노출될 기회를 가지게 되고, 결론적으로 검색엔진에 좀 더 최적화된 웹사이트가 별도의 비용 없이도 좀 더 많은 방문자가 방문을 하게 할 수 있다.

검색 엔진 최적화를 위해서는 아래와 같은 작업이 필요하며, 이번 글에서는 가장 기본이 되는 Robots.txt를 어떻게 세팅해야 하는지에 대해 알아보도록 하자.

. 검색엔진에 등록하기

. 보안 프로토콜 (HTTPS) 적용하기

. Robots.txt과 사이트맵(Sitemap.xml)을 설정

. 웹페이지 제목인 타이틀 태그 설정

. 웹페이지에 메타 태그 및 메타 디스크립션 설정

. 소셜미디어 검색엔진을 위한 OG(Open Graph) 태그 설정하기

. 이미지 내 Alt 태그 설정

. 반응형 사이트로 모바일 최적화하기

왜? 홈페이지를 검색엔진에 최적화해야 할까?

앞서도 잠깐 이야기했지만, 검색엔진에 최적화된 홈페이지와 그렇지 않은 사이트는 방문자수에 있어서 많은 차이를 보이게 되며, 필자가 운영 중인 게임세상의 경우 전체 이용자의 약 85% 이상이 검색엔진을 통해 접속을 하고 있다. 만일 필자의 웹사이트가 검색엔진에 최적화되어있지 않고, 검색엔진에 등록도 되어있지 않다면?? 아마도 전체 방문자수의 약 85% 정도는 감소했을 것으로 생각된다.

그럼 지금부터 robots.txt 파일의 상세 설정 방법에 대해 알아보도록 하자.

robots.txt 파일은 검색엔진에게 내 사이트의 자료를 퍼가도 된다 혹은 이 폴더는 퍼가지 말아라라는 것을 알려주는 지표가 된다. 이를 도식화하면 아래와 같다.

검색엔진이 자료를 퍼가는 주기가 정확하지는 않지만, 구글을 기준으로 하면 대략적으로 1일 1회 이상 내 사이트를 구글 봇이라는 녀석이 robots.txt 와 sitemap.xml을 기준으로 내 사이트의 모든 정보를 한번 쭈욱 크롤링을 통해 가져 가 구글 검색엔진의 DB에 저장을 하게 된다.

본인의 사이트가 검색엔진에 잘 노출이 되어있는지를 확인하려면 검색엔진 페이지에 "site:www.gamess.co.kr (자신 사이트의 도메인명)"라고 입력해 보면 된다.

만일 검색 엔진에 검색 결과가 전혀 나오지 않는다면 검색엔진에 등록하는 절차를 먼저 거친 후에 robots.txt 파일을 설정해주는 것이 좋다

구글에 등록된 게임세상 콘텐츠

네이버에 등록된 게임세상 콘텐츠

네이버의 검색 결과와 구글 검색 결과에 있어서는  차이를 보이고 있는데 이는 각 검색엔진의 크롤링 로직 등이 다르기 때문으로 추정되며, 개인적으로는 구글 검색엔진을 기준으로 SEO를 진행하면 타 검색엔진에서도 어느 정도는 최적화가 적용되는 것으로 보인다

그럼 본격적으로 robots.txt의 문법에 대해 알아보도록 하자.

robots.txt 문법

user-agent : *
Disallow :

설명 : 모든 검색로봇에 대해 모든 페이지 검색 허락
   
user-agent : *
Disallow: /admin/

설명 : 모든 검색 로봇에 대해 /admin/ 폴더를 제외하고 검색 허락

User-agent : Googlebot
Disallow : /

설명 : 구글 검색 로봇에 대해 모든 검색 제외

폴더에 대한 조건

" /admin" 은 디렉터리와 파일까지도 포함하고,

" /admin/"는 디렉터리만을 의미함

이미지 로봇 차단 방법

 User-agent: Googlebot-Image
 Disallow: /*. gif$
 Disallow: /*. jpg$

설명 :  파일명 뒤에 반드시 $표시를 해주어야 합니다.

로봇 이름
구글: Googlebot
구글 이미지 : googlebot-image
네이버 : cowbot
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler

각 검색엔진의 경우 검색 로봇의 크롤링 후 실제 반영 되는데 있어서는 24시간 정도가 지나야 반영이 되는 것으로 보인다.

검색 재방문 허용 문법
User-agent: Slurp
Crawl-delay: 20
설명 : 야후 검색로봇의 검색을 허용하되 20초 동안은 다시 방문을 하지 않도록 설정하는 세팅

robots.txt 파일명 위치

http://도메인명/robots.txt 로 반드시 저장해야 검색 봇이 정상적으로 크롤링을 하게 된다.

위에서 언급된 데로 문법에 맞춰 robots.txt를 작성한 뒤(메모장 이용) FTP를 이용해서 root 폴더에 업로드하면 된다.

모든 검색 봇이 크롤링하게 하는 robots.txt

robots.txt

-------

user-agent : *
Disallow :

-------

기타 정보

만일 스스로 robots.txt 파일을 생성하는 게 어렵다면 아래의 사이트를 통해 자신만의 robots.txt 파일을 만들어보자.

검색로봇 파일 제작 사이트
http://www.mcanerin.com/EN/search-engine/robots-txt.asp

검색로봇 파일이 잘 작성되었는지 검사하는 사이트
http://tool.motoricerca.info/robots-checker.phtml

게임세상의 robots.txt 파일 내용

http://www.gamess.co.kr/robots.txt

앞서도 이야기했지만, 사이트를 잘 만드는 것도 중요하지만, 잘 만든 사이트에 많은 방문자들이 들어오게 하는 것은 더욱 중요하다. 돈이 많다면 네이버 광고를 통해 방문자를 쭉쭉 데리고 오면 되지만, 돈이 없다면 웹사이트에 방문자를 늘리기 위해 검색엔진 최적화를 가장 먼저 시작해 보도록 하자.