네이버 검색결과 상위 노출 - Robots.txt
안녕하세요! 이번주는 예전에 한 번 말씀드렸던 "글로벌 SEO 전략 - robots.txt 설정 방법" 이후의 성과에 대해 말씀드리고자 합니다.
오늘 말씀드릴 이야기의 결론부터 소개드리면 아래와 같습니다.
타국가 사이트의 robots.txt 설정을 통한 네이버 크롤러 방지는 크롤 버짓의 효과적인 관리가 되기 때문에 대규모 트래픽 상승이 가능할 수 있다.
우선, 타국가 사이트의 네이버 크롤러 접근 방지가 무엇인지 설명드리기 위해 애플의 예시를 보여드리겠습니다. 애플은 기본적으로 https://www.apple.com/ 형태에서 각 국가별 페이지를 https://www.apple.com/kr/, https://www.apple.com/au/, https://www.apple.com/fr/ 이런 식으로 운영하고 있습니다.
즉, URL 관점에서 보자면 하나의 apple.com 페이지 내에 여러개의 다른 국가 페이지가 하위 구조로 있는 방식입니다. 위와 같은 URL 구조를 "서브폴더" 구조라고 합니다. 서브폴더 구조의 장점은 루트 도메인(apple.com)의 검색노출 평가 권위를 그대로 이용할 수 있는 것 입니다. 다만 단점은, 애플과 같은 글로벌 사이트는 굉장히 많은 페이지를 가지고 있기 때문에, 검색엔진의 색인 효율성이 안좋을 수 있습니다.
반면 서브도메인 구조라는 방식도 있습니다. 트립닷컴(https://kr.trip.com/)이 가장 대표적인 예시입니다. trip.com 이라는 루트도메인은 가져가지만, 결론적으로 kr이 앞에 붙기 때문에 다른 페이지입니다. 그러나 사실 이것도 trip.com의 검색노출 평가 권위를 어느정도 가지고 갈 수 있습니다. 장점은 아까 말씀드린 서브 폴더 방식의 단점을 완전히 보완할 수 있다는 것입니다. 즉, kr.trip.com 하나의 도메인에 대해 검색엔진의 색인이 이루어지기 때문에 크롤 버짓의 효율적인 관리가 가능합니다. 다만 단점 역시 루트 도메인과 별개의 도메인으로 인식되기 때문에 "본진"의 영향력을 마음껏 사용하기 어려운 것 입니다.
이번 포스팅에서 "서브 폴더" 방식과 "서브 도메인" 중 어떤 것이 좋으냐는 말씀드리지 않겠습니다. 그러나 이미 "서브 폴더" 방식을 구현하고 있는 글로벌 서비스의 경우 "네이버에 한하여 타국가 페이지에 대한 네이버 크롤러 접근 방지 설정을 robots.txt에 해둘 것"을 추천드립니다.
이유는 아래와 같습니다.
1. 불필요한 페이지 수집/색인을 위한 크롤 예산 방지 가능
robots.txt 적용 전까지 심심한 변화만 있던 네이버 색인 현황에 어느날 갑자기 robots.txt에 의한 접근 금지 페이지 수 증가에 대한 알림이 있었습니다. 그래프를 보여드릴 수 없지만, 실제 그래프를 보면 지표가 완전 수직 상승을 했습니다.
즉, 한국사람들만 보는 네이버가 다른 나라 사람들을 위해 존재하는 페이지를 수집/색인할 필요가 있는가에 대한 근본적인 의문이 있었고, 이런 의문점을 해결하기 위해 과감히 시도했더니 네이버 크롤러의 접근 제한 페이지 수가 급증하는 결과를 확인했습니다.
2. 수집이 제한된 페이지가 늘어났는데, 반대로 수집되는 페이지도 엄청 늘었다.
필요하지 않은 페이지의 접근을 방지했더니, 갑자기 수집되는 페이지 수가 급격하게 증가했습니다. 즉, 수집 차단된 페이지수 급증 며칠 후 부터 수집된 페이지 수의 급증이 시작된 것입니다. 자료를 직접 보여드리지 못하니 설명이 어려운데, 쉽게 말하면 아래와 같습니다.
외국 페이지 수집 제한이 많아지기 시작한 시점부터, 한국 페이지 수집 급증
3. 수집된 페이지 수가 늘었더니, 전에 없던 새로운 페이지 유형으로부터 Organic Traffic 성장
수집된 페이지가 늘어도 결론적으로 네이버 검색을 통한 절대적인 유입이 늘어야 우리의 목표가 달성됩니다. 그런데 "불필요한 페이지 수집 중지"를 했더니 "필요한 페이지 수집 증가" 현상이 나타났고, 결론적으로 "필요한 페이지의 네이버 검색 노출"은 "Organic Traffic 증가"라는 결과를 만들어 냈습니다.
즉, 불필요한 페이지 수집 방지가 페이지 전체에 대한 크롤 예산의 효과적인 관리를 유도하면서 기존에 수집하지 못했지만 고객의 니즈가 있던 페이지 수집 및 검색 노출을 통해 실질적인 Organic Traffic 견인을 유도한 것 입니다.
위와 같은 세 가지 이유로 글로벌 서비스의 네이버 검색엔진최적화의 필수적 요소 중 하나를 "불필요한 페이지에 대한 네이버 크롤러의 접근 금지"라고 추천드리고 싶습니다.
이번주 포스팅은 최대한 결론 위주로 전달드리다 보니, SEO(검색엔진최적화)에 익숙하지 않으신 분들의 이해가 조금 어려울 것 같습니다. 그런 분들은 안계시지만...혹시나 궁금하거나 이해 안되시는 부분 있으면 댓글로 문의주세요!
감사합니다.
