Comprobador de ROBOTS.TXT
Fácil de usar:
Nunca había sido tan fácil poner a prueba tu fichero robots.txt. Solo copia tu URL completa con /robots.txt, haz clic en "Comprobar" y tu informe estará listo rápidamente.
100% exacto:
Con nuestro comprobador de robots.txt no solo encontrarás errores debidos a erratas, sintaxis y errores "lógicos", sino que también te dará consejos útiles de optimización.
Preciso:
Teniendo en cuenta tanto el estándar de exclusión de robots y las extensiones específicas de arañas, nuestro comprobador de robots.txt generará un informe fácil de leer que te ayudará a corregir cualquier error que puedas tener en tu fichero robots.txt.
Preguntas frecuentes
Esta herramienta es sencilla de usar y te ofrece un informe en segundos: solo escribe la dirección URL completa de tu sitio web, seguido de /robots.txt (p. ej. tusitioweb.com/robots.txt) y haz clic en el botón de “Comprobar”. Nuestro comprobador de robots.txt encontrará cualquier error (errores de dedo, sintaxis y “lógicos”) y te dará consejos para optimizar tu fichero robots.txt.
Al comprobar el fichero antes de que rastreen tu sitio web podrás evitar problemas como que se rastree e indexe todo el contenido del sitio web en lugar de las páginas que quieres indexar. Por ejemplo, si tienes una página que solo quieres que los visitantes accedan tras completar un formulario de suscripción o una página de inicio de sesión para miembros, pero no las excluyes de tu fichero robots.txt, entonces podrían terminar siendo indexadas.
Los errores que podrías ver incluyen:
URL no válida: verás este error si no tienes fichero robots.txt.
Potencial error de comodín: aunque técnicamente es una advertencia más que un error, si ves este mensaje usualmente significa que tu fichero robots.txt contiene un comodín (*) en el campo Denegar (p. ej. Denegar: /*.rss). Este es un problema de buenas prácticas, ya que Google permite comodines en el campo Denegar, pero no es una práctica recomendada.
Agentes de usuario genéricos y específicos en el mismo bloque de código: este es un error de sintaxis en tu fichero robots.txt y deberías corregirlo para evitar problemas con los rastreadores en tu sitio web.
Las advertencias que podrías ver incluyen:
Permitir: / : usar esta orden de permitir no va a dañar tu calificación o afectar tu sitio web, pero no es una práctica estándar. Los robots de buscadores importantes como Google y Bing aceptarán esta directiva, pero no todos los rastreadores lo aceptan y en general, es mejor que hagas tu fichero robots.txt compatible para todos los rastreadores, no solo para los importantes.
Uso de mayúsculas en campo nombre: mientras que el campo nombre no es necesariamente sensible a las mayúsculas, algunos rastreadores pueden requerir uso de mayúsculas, por lo tanto, es una buena idea usar mayúsculas en los campos de nombre para agentes de usuario específicos.
Mapa de sitio: muchos ficheros robots.txt incluyen los detalles del mapa de sitio para el sitio web, pero esto no se considera la mejor práctica. Sin embargo, Google and Bing admiten esta función.
Algunos creadores de sitios web como Wix no te permiten editar tu fichero robots.txt directamente, pero sí te permiten añadir etiquetas de no indexar para páginas específicas.
¡Nos alegra que te haya gustado!