Comprobador de ROBOTS.TXT

¿Qué es la herramienta de prueba y validación de robots.txt?
La herramienta de prueba de robots.txt está diseñada para comprobar que tu fichero robots.txt sea correcto y no tenga errores. Robots.txt es un fichero que hace parte de tu sitio web y que tiene reglas de indexación para los robots de los motores de búsqueda, para garantizar que tu sitio web sea rastreado (e indexado) de forma correcta y que los datos más importantes de tu sitio web se indexen primero.
Esta herramienta es sencilla de usar y te ofrece un informe en segundos: solo escribe la dirección URL completa de tu sitio web, seguido de /robots.txt (p. ej. tusitioweb.com/robots.txt) y haz clic en el botón de “Comprobar”. Nuestro comprobador de robots.txt encontrará cualquier error (errores de dedo, sintaxis y “lógicos”) y te dará consejos para optimizar tu fichero robots.txt.

¿Por qué necesito comprobar mi fichero robots.txt?
Los problemas de tu fichero robots.txt (o no tener este fichero) pueden tener un efecto negativo en tus puntuaciones de SEO y a tu sitio web puede tener un mala calificación en las páginas de resultados de los motores de búsqueda. Esto se debe al riesgo de que se haya rastreado contenido no relevante antes del contenido importante, o en lugar de este.
Al comprobar el fichero antes de que rastreen tu sitio web podrás evitar problemas como que se rastree e indexe todo el contenido del sitio web en lugar de las páginas que quieres indexar. Por ejemplo, si tienes una página que solo quieres que los visitantes accedan tras completar un formulario de suscripción o una página de inicio de sesión para miembros, pero no las excluyes de tu fichero robots.txt, entonces podrían terminar siendo indexadas.

¿Qué significan los errores y advertencias?
Hay una variedad de errores que pueden afectar a tu fichero robots.txt, así como advertencias de buenas prácticas que podrías ver cuando compruebas tu fichero. Estas son cosas que pueden afectar tu SEO y que debes arreglar. Las advertencias son menos importantes y funcionan como consejos sobre cómo mejorar tu fichero robots.txt.
Los errores que podrías ver incluyen:
URL no válida: verás este error si no tienes fichero robots.txt.
Potencial error de comodín: aunque técnicamente es una advertencia más que un error, si ves este mensaje usualmente significa que tu fichero robots.txt contiene un comodín (*) en el campo Denegar (p. ej. Denegar: /*.rss). Este es un problema de buenas prácticas, ya que Google permite comodines en el campo Denegar, pero no es una práctica recomendada.
Agentes de usuario genéricos y específicos en el mismo bloque de código: este es un error de sintaxis en tu fichero robots.txt y deberías corregirlo para evitar problemas con los rastreadores en tu sitio web.
Las advertencias que podrías ver incluyen:
Permitir: / : usar esta orden de permitir no va a dañar tu calificación o afectar tu sitio web, pero no es una práctica estándar. Los robots de buscadores importantes como Google y Bing aceptarán esta directiva, pero no todos los rastreadores lo aceptan y en general, es mejor que hagas tu fichero robots.txt compatible para todos los rastreadores, no solo para los importantes.
Uso de mayúsculas en campo nombre: mientras que el campo nombre no es necesariamente sensible a las mayúsculas, algunos rastreadores pueden requerir uso de mayúsculas, por lo tanto, es una buena idea usar mayúsculas en los campos de nombre para agentes de usuario específicos.
Mapa de sitio: muchos ficheros robots.txt incluyen los detalles del mapa de sitio para el sitio web, pero esto no se considera la mejor práctica. Sin embargo, Google and Bing admiten esta función.

¿Cómo arreglo los errores en mi fichero robots.txt?
Arreglar los errores en tu fichero robots.txt depende de la plataforma que uses. Si usas WordPress, es aconsejable que uses un plugin como el Optimizador de robots.txt de WordPress o el Editor de robots.txt. Si conectas tu sitio web a la Consola de Búsqueda de Google, también podrás editar tu fichero robots.txt allí.
Algunos creadores de sitios web como Wix no te permiten editar tu fichero robots.txt directamente, pero sí te permiten añadir etiquetas de no indexar para páginas específicas.