SEO(검색엔진최적화)의 기본, robot, sitemap!

마케터라면 익숙할 단어, 봇 수집일 것이다.

네이버나 구글에서 봇이 자동으로 사이트를 수집해가 노출되는 것을 말한다.

봇이 사이트를 수집해가 특정 단어들로 노출되도록 하는 것이 SEO의 기본이다.

그리고 봇도 그냥 무작정 들어와서 수집해가는 게 아니라, 허가를 한 영역만 수집해간다.

그리고 sitemap(사이트맵)으로 어떤 구조로 사이트가 만들어졌는지 알려주면, 색인작업을 하는 데 더욱 도움이 된다.(누락되는 페이지가 적어진다는 의미이다.)

 

그렇기에 robot 수집과 sitemap 제출은 선택이 아닌 필수이며, 기본이다.

 

robot 파일은 아래 사이트를 참고해서 만들면 된다.

https://searchadvisor.naver.com/guide/seo-basic-robots

robots.txt 설정하기

 

아래 내용을 txt파일로 만들어서 루트 디렉토리에 올리기만 하면 된다.

User-agent: *
Allow:/

 

다만 보통 관리자 페이지 같은 곳은 접속 허용을 안하기에, disallow 경로는 지정해줘야한다.

 

 

그리고 사이트맵은 아래 url에서 만들면 된다.

https://www.xml-sitemaps.com

Create your Google Sitemap Online - XML Sitemaps Generator

 

개인적으로 조금 만들어지는게 느리긴 한데, 그래도 무료로 만들 수 있으니까 좋다.

사실 수동으로 만들 수도 있는 것 같긴 한데, 굳이 잘 사용하지 않는 것을 시간 들여 공부하고 싶지는 않았다.

(하지만 아래와 같은 게 있다고 개발자에게 툭 던지면 잘 만들어줄수도..)

https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap?hl=ko

사이트맵 제작 및 제출하기 | Google 검색 센터  |  문서  |  Google for Developers

 

아! 참고로 카페24 같은 호스팅사를 통해 사이트를 만들었다면, 해당 업체에서 제공하는 사이트맵이 있다. 고객센터 통해서 찾아보면 경로를 알려줄 것이다.