VERIFICADOR DO ROBOTS.TXT

Exemplo: websiteplanet.com/robots.txt

Nunca foi tão fácil testar a precisão do seu arquivo robots.txt. Basta colar sua URL completa com /robots.txt e pressionar enter. Seu relatório estará pronto rapidamente.

100% preciso:

Nosso verificador do robots.txt não apenas irá encontrar erros de digitação, sintaxe e "lógica", como também fornecerá dicas úteis de otimização.

Preciso:

Considerando tanto o padrão de exclusão dos robôs quanto as extensões específicas dos spiders, nosso verificador do robots.txt irá gerar um relatório de fácil leitura para ajudar a corrigir quaisquer erros existentes no seu arquivo robots.txt.