CONTROLLORE ROBOTS.TXT

Esempio: websiteplanet.com/robots.txt

01

Facile da usare:

"Non è mai stato così facile testare l'accuratezza del tuo file robots.txt. Basta incollare l'URL completo, con /robots.txt, fare clic su Invio e il report sarà pronto rapidamente.
02

Accurato al 100%:

"Non solo il nostro correttore robots.txt troverà errori a causa di errori di digitazione, sintassi e "logica", ma fornirà anche utili suggerimenti per l'ottimizzazione.
03

Preciso:

Prendendo in considerazione sia il Robots Exclusion Standard che le estensioni specifiche per i ragni, il nostro correttore robots.txt genererà un rapporto di facile lettura che aiuterà a correggere eventuali errori che potresti avere nel file robots.txt.
FAQ

Lo strumento tester Robots.txt è progettato per controllare che il tuo file robots.txt sia preciso e senza errori. Robots.txt è un file che fa parte del tuo sito web e che fornisce regole di indicizzazione per i robot dei motori di ricerca, affinché il tuo sito web sia analizzato (ed indicizzato) correttamente e che vengano indicizzati per primi i dati più importanti sul tuo sito web.

Questo strumento è facile da utilizzare e ti fornisce un report in pochi secondi: dovrai semplicemente inserire la URL completa del tuo sito web seguita da /robots.txt (es.: tuositoweb.com/robots.txt) e cliccare sul pulsante “check”. Il nostro strumento robots.txt troverà eventuali errori (come errori di battitura, sintassi e di logica) e ti fornirà dei suggerimenti per ottimizzare il tuo file robots.txt.

Eventuali problemi con il tuo file robots.txt, o la mancanza di un file robots.txt, possono influenzare negativamente i tuoi punteggi SEO, e di conseguenza il tuo sito web potrebbe non venir classificato nel modo migliore nelle pagine dei risultati dei motori di ricerca: ciò è perché dei contenuti non rilevanti potrebbero venire analizzati prima (o al posto) dei contenuti pertinenti.

Controllare il file prima dell’analisi del tuo sito web fa sì che tali problematiche vengano evitate, come ad esempio che tutti i contenuti del tuo sito web vengano analizzati ed indicizzati anziché solo le pagine che vuoi far indicizzare. Ad esempio, se vuoi che i visitatori accedano ad una pagina in particolare solo dopo aver compilato il modulo di iscrizione, se non escluderai questa dal tuo file robots.txt, essa potrà venir indicizzata.

Esistono diversi errori che possono influenzare il tuo file robots.txt, nonché alcuni avvisi sulle “best practice” che potresti visualizzare durante il controllo del tuo file. Questi sono elementi che possono avere un impatto sulla tua SEO, e che dovrebbero essere sistemati. Gli avvisi sono meno importanti, e sono fondamentalmente dei consigli su come migliorare il tuo file robots.txt.

Tra gli errori che potresti visualizzare sono compresi:

URL invalida – Vedrai questo errore se il tuo file robots.txt è completamente mancante;

Potenziale errore wildcard – Anche se questo è più un avvertimento che un errore, se vedrai questo messaggio probabilmente sarà perché il tuo file robots.txt contiene una wildcard (*) nel campo Disallow (es. Disallow: /*.rss). Questa è una problematica di best practice: Google consente le wildcard nel campo Disallow, ma non è una pratica raccomandata.

User-agent generali e specifici nello stesso blocco di codice – Questo è un errore di sintassi nel tuo file robots.txt, e dovrebbe essere corretto per evitare relativi all’analisi del tuo sito web.

Gli avvisi che potresti visualizzare includono:

Allow: / – Utilizzare l’ordine “allow” (permetti) non danneggerà il tuo posizionamento o il tuo sito web, ma non è una pratica standard. I robot più utilizzati, come Google e Bing, accetteranno questa direttiva; ma non tutti gli strumenti di analisi lo fanno. A livello generale, sarebbe meglio se tu rendessi il tuo file robots.txt compatibile con tutti gli strumenti di analisi, e non solo i più famosi.

Lettere maiscole nel campo del nome – I campi del nome non sono necessariamente sensibili alle differenze tra lettere maiuscole e minuscole, ed alcuni analizzatori potrebbero anche richiedere la differenziazione, quindi è una buona idea inserire le lettere maiuscole nei campi del nome per degli utenti-agente specifici;

Supporto della mappa del sito – Molti file robots.txt includono i dettagli della mappa del sito, ma questa non è considerata una best practice. Google e Bing, invece, supportano entrambi questa funzionalità.

La correzione degli errori nel tuo file robots.txt dipende dalla piattaforma che utilizzi. Se utilizzi WordPress, faresti meglio ad utilizzare un plugin come WordPress Robots.txt Optimization o Robots.txt Editor. Se connetti il tuo sito web alla Google Search Console, potrai modificare il tuo file robots.txt anche da lì.

Alcuni website builder, come Wix, non ti permettono di modificare il tuo file robots.txt in modo diretto, ma ti permettono invece di aggiungere dei tag no-index per pagine specifiche.