Comprobador de ROBOTS.TXT
Fácil de usar:
Nunca había sido tan fácil poner a prueba tu fichero robots.txt. Solo copia tu URL completa con /robots.txt, haz clic en "Comprobar" y tu informe estará listo rápidamente. 100% exacto:
Con nuestro comprobador de robots.txt no solo encontrarás errores debidos a erratas, sintaxis y errores "lógicos", sino que también te dará consejos útiles de optimización. Preciso:
Teniendo en cuenta tanto el estándar de exclusión de robots y las extensiones específicas de arañas, nuestro comprobador de robots.txt generará un informe fácil de leer que te ayudará a corregir cualquier error que puedas tener en tu fichero robots.txt.