ALAT ZA PROVJERU ROBOTS.TXT

Što je Robots.txt Tester & Validator alat?
Alat za testiranje Robots.txt datoteka osmišljen je kako bi provjerio je li robots.txt datoteka točna i bez grešaka. Robots.txt je datoteka je dio vaše web stranice i sadrži pravila za indeksiranje za tražilice kako bi se osiguralo pravilno indeksiranje vaše web stranice te indeksiranje najvažnijih podataka na vašoj web stranici.
Ovaj je alat jednostavan za korištenje i nudi vam pregled cjelokupnog izvještaja u samo nekoliko sekundi – samo upišite URL web stranice, a zatim /robots.txt (npr. vašawebstranica.com/robots.txt) i kliknite gumb “check”. Naš robots.txt alat za provjeru pronaći će pogreške (poput greške u nekom slovu/znaku, sintakse i “logičkih” grešaka) te vam dati savjete za bolju optimizaciju robots.txt datoteke.

Zašto trebam provjeriti Robots.txt datoteku?
Problemi s vašom robots.txt datotekom – ili to da uopće nemate robots.txt datoteku – mogu negativno utjecati na vaše SEO rezultate, vaša web stranica možda neće pozicionirati dobro na tražilicama (SERPs). Ovo se često događa zato što se nerelevantan sadržaj može indeksirati prije onog sadržaja koji vam je važniji.
Provjera datoteke prije indeksiranja vaše web stranice znači da možete izbjeći probleme poput pretraživanja i indeksiranja cijelog sadržaja web stranice, a ne samo stranice koje želite indeksirati. Na primjer, ako imate stranicu na kojoj želite da posjetitelji mogu pristupiti samo nakon što ispune obrazac za pretplatu ili stranicu za registraciju, a ne isključite je u svojoj robots.txt datoteci, mogla bi se indeksirati.

Što znače greške i upozorenja?
Postoji čitav niz grešaka koje mogu imati utjecaj na robots.txt datoteku, kao i upozorenja i savjeti za poboljšanja koja se mogu uočiti prilikom provjere datoteke. To su stvari koje mogu utjecati na SEO i treba ih ispraviti. Upozorenja su manje važna i funkcioniraju kao savjet o tome kako poboljšati robots.txt datoteku.
Greške koje možete primijetiti:
Invalid URL – ovu pogrešku ćete vidjeti ako vam u potpunosti nedostaje robots.txt datoteka.
Potential wildcard error – Iako je ovo tehnički upozorenje, a ne greška, ako vidite ovu poruku, to je obično zato što robots.txt datoteka sadrži zamjensku oznaku (*) u polju Disallow (npr. Disallow: /*.rss). Ovo je više savjet za ispravljanje – Google dopušta zamjenske znakove u polju Disallow, ali ne preporučuje se to i implementirati.
Generic and specific user-agents in the same block of code – Ovdje se radi o sintaksi u vašoj robots.txt datoteci i treba je ispraviti kako bi se izbjegli problemi s indeksiranjem vaše web stranice.
Upozorenja koje možete vidjeti:
Allow: / – Korištenje allow naredbe neće naškoditi vašim pozicijama ili utjecati na vašu web stranicu, ali nije uobičajena praksa. Većina botova, uključujući Google i Bing, prihvatit će ovu direktivu, no neće i ostali – i općenito govoreći, najbolje je da svoju robots.txt datoteku učinite kompatibilnom za sve botove koji indeksiraju sadržaj, ne samo one najpopularnije.
Field name capitalization – Iako nazivi polja nisu nužno osjetljivi na mala i velika slova, neki alati za indeksiranje mogu zahtijevati da prepoznajete razliku između velikih i malih slova, stoga je dobra ideja iskoristiti velika slova za određene naredbe.
Sitemap support – Mnoge robots.txt datoteke sadrže detalje o sitemapu web stranice, ali ni ovo nije uobičajena praksa. Google i Bing, međutim, podržavaju ovu značajku.

Kako mogu popraviti greške u svojoj Robots.txt datoteci?
Ispravljanje pogrešaka u robots.txt datoteci ovisi o tome koju platformu koristite. Ako koristite WordPress, preporučuje se koristiti plugin poput WordPress Robots.txt Optimization ili Robots.txt Editor. Ako svoju web stranicu povežete s Google Search Console, tamo ćete moći uređivati svoju robots.txt datoteku.
Neki servisi za izradu web stranica poput Wixa ne dopuštaju izravno uređivanje robots.txt datoteke, ali omogućuju vam dodavanje no-index tagova na određene stranice.