사이트맵이란?
사이트맵은 사이트에 있는 페이지, 동영상 및 기타 파일과 각 관계에 관한 정보를 제공하는 파일이다. Google과 같은 검색엔진은 사이트맵을 읽고 해당 사이트를 더 지능적으로 크롤링하게 된다. 사이트맵은 크롤러에게 내가 사이트에서 중요하다고 생각하는 파일을 알리고 이러한 파일에 관한 정보를 제공한다. 예를 들어, 페이지의 경우, 마지막 페이지 업데이트 시간, 페이지 변경 빈도, 페이지의 대체 언어 버전 등에 대해 알려준다. 참고) 크롤링(crawling) 혹은 스크레이핑(scraping)은 웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 크롤링하는 소프트웨어는 크롤러(crawler)라고 부른다. 검색 엔진에서도 유사한 것을 필수적으로 사용하는데, 웹 상의 다양한 정보를 자동으로 검색하고..
2019.05.28