구글 검색의 원리
검색은 어떤 원리로 이뤄지는가
이전 글에서 언급했다시피 이번엔 구글 검색의 원리에 대해서 이야기해보고자 한다.
사실 앞으로 이야기할 내용들은 구글에서 친절하게 설명해둔 문서가 있다. 구글에 "검색의 원리"라고 검색을 해보면 될 것이다.
이전 글에서 검색의 프로세스엔 검색 봇의 웹문서 수집(크롤링) → 색인 → 노출의 단계를 거친다고 설명한 적이 있다. 이게 검색의 원리의 기본 골자라고 생각하면 쉬울 것 같다. 또한 모든 SEO 작업은 해당 프로세스의 범주안에서 이루어진다고 해도 과언이 아니다.
1. 크롤링 (검색 봇의 웹문서 수집)
크롤링이란 웹 크롤러가 하는 작업을 의미하는데 쉽게 말해 자동화된 방법으로 웹을 탐색하는 컴퓨터 프로그램이라고 할 수 있다. 스파이더링 이라고도 하는데 웹 크롤러가 방문한 웹 페이지의 정보를 수집하는 방법을 의미한다.
이와 같이 구글의 검색 봇은 크롤링을 통해서 웹 문서의 정보를 수집하기도 하지만 웹사이트 소유자가 제공하는 사이트맵(소유자가 작성한 웹문서의 목록)의 정보를 수집한다. 또한 이렇게 수집된 웹문서 안의 링크를 통해 또 다른 웹문서의 정보를 수집하는 방식으로 수 천억 개의 웹문서를 크롤링한다. (이렇게 거미줄 치기의 방식 때문인지 스파이더링 이라고 하는 게 아닐까..?)
구글 봇이 우리 사이트를 크롤링함에 있어 SEO담당자는 자사 사이트에 구글 봇의 접근을 허용해야 하고 사이트맵을 제출하거나 robots.txt 파일을 활용하여 검색 봇의 크롤링을 제어할 수 있어야 한다. (검색에 노출되길 원하는 페이지와 그렇지 않은 페이지의 구분) 사이트맵과 Robots.txt를 관리하는 방법에 대해서는 다음에 자세하게 다루도록 하겠다.
2. 색인
색인이란 수많은 정보를 빠르게 찾을 수 있도록 특정 장소에 데이터를 정리하여 저장하는 과정을 의미한다. 수천억 개의 페이지를 수집한 구글은 이를 키워드 및 웹사이트 최신 정보 등 여러 가지 시그널을 통해 검색 결과에 색인시킨다. 이때 웹문서에 있는 모든 단어가 색인 항목이 되고, 특정 단어가 포함되는 검색이 있을 때 해당 단어를 기준으로 책장에서 책을 꺼내듯 웹문서를 검색 결과에 노출시킨다.
이과정에서 SEO 담당자는 검색 결과에 색인된 문서의 양을 모니터링하고 증가 및 감소에 대응하는 행동을 취할 수 있어야 한다. 색인된 문서 양을 모니터링하는 방법은 구글의 고급 검색 기능을 활용하면 된다. "site:wikipida"라고 검색해보자 "site:" 명령어는 해당 사이트에 있는 모든 구글 검색 결과를 조회한다. 조회된 검색 결과의 숫자가 색인의 양을 의미한다. 나는 이 숫자를 보고 관리한다. (이 숫자는 경쟁사를 모니터링할 수 있는 방법이기도 하다) 또한 Search Console에 사이트를 등록하였다면 색인 생성 범위 보고서에서 모니터링하는 방법도 있다.
3. 노출 (검색 알고리즘에 의한 노출)
구글이 색인한 수천억 개의 모든 정보를 사용자가 이용하는 것은 불가능하다. 때문에 구글 검색의 사명은 사용자의 검색어와 가장 관련성 높고 신뢰할 수 있는 정보를 제시하는 것이라고 한다. 이 말은 사용자가 원하는 정보를 찾아 순서대로 정렬시켜 주는 것을 의미한다. 이를 실행하는 것이 검색 알고리즘이다.
검색 알고리즘의 검색 결과 랭킹 시스템은 검색단어와 콘텐츠의 연관성, 전문성, 사용자 경험 등과 같은 다양한 요소들을 고려한다. 하지만 해당 시그널들에 대해 완벽하게 최적화 시킬 수 있는 방법은 구글에서 제공하진 않는다. "사용자에게 도움이 될 양질의 콘텐츠를 제공하세요"라는 말은 항상 구글에서 강조하는 SEO 방법 중 하나이다.
생각해보면 알고리즘의 핵심을 공개하는 것과 같기 때문에 당연히 완벽한 최적화는 있을 수 없다. 그래서 모호하게 표현할 수밖에 없는 것이다. 때문에 구글의 기술 발표, SEO에 대한 최신 연구, 기본적인 기술 SEO 같은 것들을 파악하고 충족시켜 나가는 게 SEO 마케터의 핵심 업무 중 하나이다.
물론 한 개의 요건만 충족시킨다고 당장 랭킹이 올라가는 것은 아니다. 복잡한 알고리즘의 원칙 안에서 검색 봇에 마음에 들어야 하기 때문에 시간을 들여서 차근차근 대응해 나가야 한다. 초반에 성과가 나오지 않는다고 실망하지 말고 계단식 성장을 이뤄 나가야 할 것이다.
이렇게 3단계의 검색 원리에 대해 알아보았다. 가장 큰 SEO의 골자이기 때문에 반드시 익혀야 하는 개념이라고 할 수 있다. 이 원리를 이해해야지만 효율적인 SEO 작업을 실행할 수 있을 것이다. 앞으로는 단계별로 실제로 어떤 일을 해야 하는지 차근차근 다뤄보도록 할 것이다.
