robots.txt

Es un archivo de texto que ofrece recomendaciones a los robots informáticos de los buscadores sobre como rastrear un sitio web y puede indicarles, por ejemplo, evitar rastrear determinadas páginas para tratar de impedir que se indexen.

« Volver al Índice