Resumen: Se explica la importancia que tienen los ficheros robots.txt y los sitemaps para los sitios web. Se realiza un estudio sobre más de 4.000 webs de la administración pública española para analizar el uso de ficheros robots.txt y sitemaps como medio de optimización para los crawlers o arañas de los motores de búsqueda.

Palabras clave: Robots, Crawlers, Sitemaps, Motores de búsqueda, Recuperación de información, Visibilidad, Sitios web

Title: The use of robots.txt and sitemaps in the Spanish public administration

Abstract: Robots.txt and sitemaps files are the main methods to regulate search engine crawler access to its content. This article explain the importance of such files and analyze robots.txt and sitemaps from more than 4,000 web sites belonging to spanish public administration to determine the use of these files as a medium of optimization for crawlers.

Keywords: Robots, Crawlers, Sitemaps, Search engines, Information retrieval, Visibility, Web sites