brunch

매거진 SEO

라이킷 댓글

You can make anything
by writing

C.S.Lewis

계정을 잊어버리셨나요?

by 하이프마크 Oct 25. 2021

검색엔진최적화 : 검색엔진이 정보를 얻는 과정

사람들이 검색엔진을 사용하는 이유는 원하는 정보를 빨리, 그리고 제대로 얻기 위해서입니다. 아무리 빠르게 검색할 수 있어도 검색 결과에 알맞는 결과가 뜨지 않으면 사용자들은 그 검색 엔진을 이용하지 않겠죠. 그래서 검색엔진은 사용자들에 맞춰 확실한 결과를 도출할 필요가 있고, 그를 위해 알고리즘을 만들었습니다.

온라인에 존재하는 웹페이지는 그야말로 수백억개입니다. 그렇다면 검색엔진들이 이러한 웹페이지의 모든 정보들을 가져다가 분석하고 저장해 사용자의 검색 결과에 뜨게 만드는 과정이 있겠죠. 이번에는 검색엔진들의 이 과정에 대해 알아보도록 하겠습니다.

검색엔진이 웹페이지의 데이터들을 수집하기 위해 가장 먼저 하는 일은 바로 ‘크롤링’이라 불리는 작업입니다.

크롤링(crawling)

크롤링은 웹 크롤러를 이용해 웹페이지 정보를 가지고 오는 것을 말합니다. 이러한 작업은 보통 사이트맵에서 시작되는데요. 웹 크롤러는 웹 사이트를 방문한 다음, 그 웹사이트에 있는 모든 링크들을 타고 다니며 새로운 페이지를 찾습니다. 이러한 일을 끝없이 한다고 보면 됩니다. 크롤러는 단순히 정보만 수집하는게 아니라 웹사이트의 문제점 역시 살펴보는데요, 깨진 링크나, 변경 사항 같은 것들도 정보 안에 포함해 가져가고는 합니다.

또한 크롤러는 DOM 형식의 웹 페이지를 볼 수 있어 그 안에 있는 텍스트를 읽는다고 보시면 됩니다. 따라서 이미지, 플래시는 웹 크롤러가 인식할 수 없습니다. 그러니 SEO 작업 시 크롤러에게 이미지를 인식시키기 위해 alt txt 태그를 달아 주어야 합니다.

이렇듯 크롤러는 여러 링크를 넘나들며 웹페이지에 관한 데이터를 검색엔진 서버로 가져오는 역할을 합니다.

만약 자신의 웹사이트가 검색엔진에 노출되는 걸 막고 싶으시다면 robots.txt 파일을 사용해 크롤링 되지 않도록 할 수 있습니다.

인덱싱(indexing)

인덱싱은 크롤러가 찾아 가져온 웹페이지의 정보들을 구글 검색 색인에 저장하는 것을 뜻합니다. 검색엔진 봇이 정보를 찾으면 브라우저와 같은 방식으로 해당 페이지의 코드를 렌더링합니다. 그에 따라 페이지의 모든 콘텐츠와 메타 데이터를 분류해 저장하는 작업을 합니다.

이러한 작업을 마치면 수집한 모든 단어의 항목에 맞춰 각 페이지의 위치를 색인합니다. 수십억 개의 웹 페이지로 만들어진 데이터베이스라고 할 수 있습니다. 엄청난 크기의 도서관에 있는 책들을 하나하나 분류하고 라벨링해 맞춰 정리했다고 보시면 됩니다.

그러니 크롤링과 인덱싱은 말 그대로 크롤링이 수없이 많은 웹페이지들의 링크를 타고 다니며 정보를 가져오면 인덱싱이 페이지를 분석해 저장하고 데이터 베이스를 구성하는 거라고 정리하시면 됩니다.

웹사이트가 검색엔진에 의해 크롤링과 색인이 됐다면 검색결과에 노출될 수 있게 됩니다.

검색엔진은 인덱싱을 통해 저장한 정보로 웹페이지를 평가해, 결과 페이지에 웹사이트를 노출시킵니다. 검색어에 포함된 단어들을 분석해 웹페이지를 찾아내고 그게 사용자가 검색한 것에 매치된다고 판단되면 그 페이지를 내보내는 거라고 보시면 됩니다.

그렇다면 노출되는 기준이 있겠죠.

검색엔진은 사용자가 검색하는 키워드에 따라 색인 내에서 가장 많이 일치하는 페이지가 어떤 것인지 찾아냅니다. 즉 웹페이지의 콘텐츠와 사용자의 의도와 일치하는지를 본다고 보시면 됩니다.

이런 검색 엔진 알고리즘을 사용해 계층적으로 관련 페이지에 순위를 매긴다고 할 수 있습니다

그러니 SEO에 있어서 웹사이트를 구성할 때에, 주제와 콘텐츠가 명확해야 합니다. 또한 키워드 역시 잘 설정하셔서 작업을 해두셔야 합니다. 이를 위해서는 타이틀 태그나, 메타 디스크립션 태그를 사용하시면 됩니다. 그래야 검색엔진이 크롤링과 색인의 과정에서 더 많은 정보를 가져갈 수 있으니까요.

또한 웹페이지는 다른 곳에 많이 링크되고 사용될 수록 검색엔진에 의해 중요한 콘텐츠가 있다고 평가됩니다. 클릭률이 높고, 트래픽이 많은 인기 사이트일수록 검색 결과 페이지 상단에 표시될 확률이 높아지겠죠.

사이트 속도가 빠른지, 모바일에 최적화가 되어있는지까지 살피고 있으니 웹사이트를 항상 주의깊게 관리해주셔야 합니다. 깨진 링크나 품질이 낮은 페이지가 있다면 검색엔진 웹사이트를 좋지 않다고 평가할 가능성이 높기 때문에 이 점도 신경써주세요.

이번엔 이런 과정을 통해 검색 결과 페이지에 웹사이트가 노출되는지를 알아봤습니다. 크롤링과 인덱싱만으로는 검색 결과 페이지 상단에 갈 수 없으니 무조건 SEO 과정을 거치셔야합니다.

SEO를 통해 웹사이트 상단 노출을 노려보세요. 광고보다 훨씬 더 효과가 좋다고 이미 입증 됐습니다.

웹사이트의 검색엔진최적화(SEO)와 그에 따른 성과분석이 필요하시면 하이프마크에 문의해주세요.

keyword