Por @Alvy — 23 de Abril de 2006

Robots.txt Checker es una sencilla herramienta para comprobar que el contenido del archivo robots.txt de una web se ajusta al Protocolo de Exclusión de Robots. Ese archivo lo instalan algunos webmasters, y sirve para decirle a Google y a otros buscadores, apodados «arañas» o «robots» las paginas o áreas de una web que no deben explorar. A veces esto es necesario para evitar que se metan donde no interesa (áreas restringidas), bucles infinitos o limitar el acceso a robots que pueden estar abusando inconscientemente de una web, por ejemplo con descargas masivas de algún tipo.

Este analizador revisa que todo esté bien, incluyendo la posición del grupo disallow: * (que recomiendan situar al final del fichero), que no haya líneas en blanco entre declaraciones dirigidas al mismo grupo de robots, que si hay comentarios no se confundan con las órdenes y detalles por el estilo.

Finalmente, con texto en rojo y verde explica en «lenguaje humano» lo que se está diciendo realmente a los robots que deben ignorar y lo que sí pueden leer.

Bucando más sobre todo esto también descubrí The Web Robots Pages con bastante información.

Compartir en Flipboard Compartir en Facebook Tuitear

PUBLICIDAD




PUBLICIDAD


Microsiervos Selección


The Eudaemonic Pie

EUR 8,46 (Reseña en Microsiervos)

Comprar


Javascript Allongé

EUR 5,74

Comprar


Amazon Associates

Los productos aquí enlazados están a la venta en Amazon. Incluyen un código de Afiliado Amazon Associates que nos cede un pequeño porcentaje de las ventas. Los productos están seleccionados por los autores del blog, pero ni Amazon ni los editores de los libros o fabricantes de los productos participan en dicha selección.

Más libros y productos en:

Microsiervos Selección