La buena implementación de el archivo robots.txt es un factor muy importante para el SEO. Hay muchos guías en internet para la creación del archivo, pero si en vez de leer la guía vemos como la implementan las páginas web?
En Daily Blog Tips hicieron una recopílacion de archivos robots.txt basado en blogs y páginas de diferentes tipos, lo que podemos destacar es:
- Solamente 2 de 30 páginas no utilizaban el archivo robots.txt
- Aunque no tengas ningun requerimiento específico para los bots de los buscadores, deberías utilizar un simple robots.txt
- La mayoría de la gente utiliza el comando «User-agent: *» para cubrir a todos los bots
- El factor mas deshabilitado son los RSS
- Google utiliza una combinación de carpetas privadas y abiertas, lo que significa que quizás traten diferente a los sitios
- Una minoría de los sitios incluye la dirección dl sitemap en el archivo robots.txt
Querés ver los resultados y la recopilación de robots.txt? Daily Blog Tips