윅스 홈페이지 SEO 세팅 1 - Robots.txt
윅스 홈페이지에서 SEO 상위노출 세팅하는 방법 1탄 - 테크니컬편
윅스 홈페이지 SEO 세팅 1 - Robots.txt
스타트업을 위한 홈페이지 제작툴, 윅스(WIX)
스타트업은 사실 MVP 테스트도 많이하고 그 결과에 따라 피벗을 자주 할텐데요. 그렇기 때문에 내부에 개발자가 없는 스타트업이라면, 처음부터 비싼 비용을 들여 하드코딩 형태로 홈페이지를 만드는 건 제안하지 않는 편이에요. 그래서 아직 BM이 확정되지 않은 스타트업이라면 윅스로 홈페이지를 제작하시도록 제안합니다. (단, 윅스는 커머스의 결제 기능을 지원하지 않기 때문에 커머스는 CAFE24 등이 더 적합할 듯합니다.)
사실 저희도 스타트업들과 콘텐츠 마케팅 업무를 진행하면서 알게 된 것인데요. 고객사 중 한 곳이 윅스로 홈페이지를 만들었더라고요. 그래서 윅스 툴로 콘텐츠를 만들고 SEO를 관리하기 시작했는데, 아임웹이나 하드코딩 형태의 홈페이지보다도 SEO를 관리하기에 더욱 편리했습니다.
(사용성 측면에서 윅스 툴이 다소 느려서ㅎㅎ.. 좀 불편하지만, SEO를 아주 깔끔하고 쉽게 세팅할 수 있어서 느리다는 단점을 감수하고도 꾸준히 이용하려고 합니다.)
윅스에서 SEO를 세팅하는 방법
윅스를 사용하고 계시거나, 아임웹 등의 타 제작툴을 사용하시다가 윅스로 넘어오시는 분들을 위해 SEO 세팅 방법을 알려드릴게요! 우선 SEO를 세팅하기 위해서는, 윅스에 가입하고 홈페이지를 개설해주셔야 합니다.
1. 홈페이지 접속 - 사이트 및 모바일앱 메뉴 - '사이트 및 SEO' 클릭 - 'SEO' 클릭
윅스 SEO 설정 페이지 접속 방법2. 그럼 아래와 같은 페이지가 노출되는데, Robots.txt 편집기를 클릭해주세요.
윅스 Robots.txt 편집기Robots.txt를 설정해야 하는 이유
테크니컬 SEO를 위해서는 무조건 Robots.txt를 설정해두어야 해요. 검색엔진 로봇이 웹사이트를 더 쉽게 가져갈 수 있게 (크롤링, Crawling) 하게 만들기 때문이에요. 노출이 꼭 필요한 페이지, 노출이 안되었으면 하는 페이지를 Robots.txt에 정의해줘야 해요.
Robots.txt 파일 예시
다른 기업들의 robots.txt 예시를 확인해볼까요?
1. 메일리 - https://maily.so/robots.txt
메일리 robots.txt 파일 예시메일리의 robots.txt는 되게 심플하죠. 'User-agent: *'으로 써있는 건 구글, 네이버, 다음, Bing, 야후 등 모든 검색 엔진의 크롤링을 허용한다는 거예요. 모든 검색엔진에 노출시켜도 된다는 의미죠. 그리고 홈페이지 페이지 중에서도 'https://maily.so/*/subscription/*' 페이지는 노출시키지 말라는 의미예요.
2. 애플 - https://apple.com/robots.txt
여기도 'User-agent: *'라고 써있으니 모든 검색엔진의 크롤링을 허용하네요. 그리고 Allow에 노출이 꼭 필요한 페이지들을 적어두었어요. '이 페이지는 정말 중요하니까 더 중요도 높게 크롤링해줘'라는 의미입니다. 메일리처럼 Disallow에 노출 불가 페이지도 적어두었어요.
애플 robots.txt 파일 예시Robots.txt 이렇게 설정해보세요
Case 1. 모든 검색엔진에 노출되고 싶고, 노출을 원치 않는 페이지가 있다면?
User-agent: *
Disallow: /노출원치않는 페이지의 서브디렉토리
Sitemap: 우리 홈페이지의 사이트맵 url
모든 페이지의 노출을 원하는데, 그 중에서도 '/노출원치않는 페이지의 서브디렉토리' 페이지만큼은 노출 시키지 말라는 내용이에요.
Case 2. 모든 검색엔진에 노출되고 싶고, 노출을 원치 않는 페이지가 있으며, 꼭 노출되어야 하는 페이지도 있나면?
User-agent: *
Allow: /꼭 노출시키고 싶은 페이지의 서브디렉토리
Disallow: /노출원치않는 페이지의 서브디렉토리
Sitemap: 우리 홈페이지의 사이트맵 url
Allow에 '/꼭 노출시키고 싶은 페이지의 서브디렉토리'를 기재해두면, 이 페이지는 다른 페이지보다도 더 중요도가 높다는 의미를 전달할 수 있습니다. 그래서 노출을 시켜야하는 페이지, 중요도가 높은 페이지가 있다면 Allow에 명시해주는 것도 좋아요. (비슷한 예시: 디스콰이엇 https://disquiet.io/robots.txt)
Case 3. 특정 검색엔진에 노출되기 싫다면
User-agent: *
Allow: /
Disallow: /노출원치않는 페이지의 서브디렉토리
User-agent: Yeti
Disallow: /
Sitemap: 우리 홈페이지의 사이트맵 url
Yeti는 네이버 검색엔진 로봇의 이름이에요. 모든 검색엔진 중 네이버는 모든 페이지를 크롤링할 수 없다는 내용이에요. (아래에 검색엔진별 로봇 이름을 적어두었어요)
Robots.txt에는 어떤 내용을 넣어야 할까?
아래처럼 User-agent와 Sitemap은 꼭 넣어야해요.
User-agent: *
Allow: /
Disallow: /price
Sitemap: https://www.example.com/sitemap.xml
1. User-agent
구글, 네이버, Bing 등 검색엔진 로봇을 뜻해요. User-agent에서 '*'는 all을 뜻하기 때문에 구글, 네이버, Bing 등 모든 검색엔진 로봇이 홈페이지를 크롤링하는 걸 허용한다는 말입니다.
모든 검색엔진로봇을 허용하는 거라면 '*'을 입력하면 되지만, 특정 검색엔진의 크롤링을 막고 싶을 때도 있을 거예요. 그럴 땐, User-agent에 특정 검색엔진의 로봇 이름을 적어줘야 해요.
구글 : Googlebot
구글 이미지 : Googlebot-image
구글 모바일 : Googlebot-mobile
야후 : Slurp, yahoo-slurp
네이버 : Yeti
다음 : daum
[예시]
User-agent: *
Allow: /
Disallow: /price
User-agent: daum
Disallow: /
Sitemap: https://www.example.com/sitemap.xml
2. Sitemap
사이트맵은 검색엔진 로봇에게 '이 페이지들은 꼭 크롤링해야돼'를 알려주는 용도예요. 우선적으로 크롤링이 필요한 문서들을 알려주는 용도라고 보면 됩니다. (SEO 상위노출을 위해서라면 꼭 생성해야하고 robots.txt에도 Sitemap url을 꼭 명시해야 해요.)
윅스는 사이트맵을 자동으로 생성해주는데요! 아래 이미지를 따라 사이트맵으로 이동하면, '사이트맵 색인'이라는 걸 확인할 수 있습니다. [사이트맵 색인 보기]를 눌러 해당 페이지의 url을 robots.txt에 입력해주면 돼요.
윅스 SEO 도구 및 설정 - 사이트맵
윅스 사이트맵 자동 생성다른 기업의 사이트맵이 궁금하다면?
타 기업 url/sitemap.xml 의 형태로 검색해보세요.
애플 사이트맵 https://www.apple.com/shop/sitemap.xml
스티비 사이트맵 https://stibee.com/sitemap.xml
[정리] robots.txt의 가장 기본적인 형태
User-agent: *
Disallow: /노출원치않는 페이지의 서브디렉토리
Sitemap: 우리 홈페이지의 사이트맵 url
비슷한 예시로는 한국경제의 robots.txt가 있어요. 모든 검색엔진의 크롤링을 허용하고, 특정한 페이지는 노출이 되지않게 처리했죠. 그리고 아래에는 sitemap도 명시해두어 SEO 상위노출을 위한 robots.txt 문서를 완벽하게 만들어두었습니다.
한국경제 robots.txt오늘 가이드를 읽고 꼭 홈페이지에 robots.txt를 설정해두시길 바랄게요!
