Es un archivo de texto que ofrece recomendaciones a los robots informáticos de los buscadores sobre como rastrear un sitio web y puede indicarles, por ejemplo, evitar rastrear determinadas páginas para tratar de impedir que se indexen.
« Volver al índicerobots.txt
« Back to Glossary Index