ALAT ZA PROVJERU ROBOTS.TXT
Lako za uporabu
Nikada nije bilo lakše testirati točnost vaše robots.txt datoteke. Jednostavno zalijepite svoj potpuni URL (uključujući /robots.txt), kliknite "enter" i vaše izvješće će uskoro biti spremno.
100%-na točnost
Ne samo da će naš alat za provjeru robots.txt pronaći pogreške u obliku tipfelera, sintakse i "logičke" pogreške, već će vam i dati korisne savjete za optimizaciju.
Precizno:
Uzevši u obzir standarde izuzeća robota i ekstenzije koje se odnose na pretraživače, naš alat za provjeru robots.txt će generirati izvještaj kojega je lako čitati i koji će pomoći u otklanjanju bilo kakvih pogrešaka koje možda imate u svojoj robots.txt datoteci.
Često postavljana pitanja
Ovaj je alat jednostavan za korištenje i nudi vam pregled cjelokupnog izvještaja u samo nekoliko sekundi – samo upišite URL web stranice, a zatim /robots.txt (npr. vašawebstranica.com/robots.txt) i kliknite gumb “check”. Naš robots.txt alat za provjeru pronaći će pogreške (poput greške u nekom slovu/znaku, sintakse i “logičkih” grešaka) te vam dati savjete za bolju optimizaciju robots.txt datoteke.
Provjera datoteke prije indeksiranja vaše web stranice znači da možete izbjeći probleme poput pretraživanja i indeksiranja cijelog sadržaja web stranice, a ne samo stranice koje želite indeksirati. Na primjer, ako imate stranicu na kojoj želite da posjetitelji mogu pristupiti samo nakon što ispune obrazac za pretplatu ili stranicu za registraciju, a ne isključite je u svojoj robots.txt datoteci, mogla bi se indeksirati.
Greške koje možete primijetiti:
Invalid URL – ovu pogrešku ćete vidjeti ako vam u potpunosti nedostaje robots.txt datoteka.
Potential wildcard error – Iako je ovo tehnički upozorenje, a ne greška, ako vidite ovu poruku, to je obično zato što robots.txt datoteka sadrži zamjensku oznaku (*) u polju Disallow (npr. Disallow: /*.rss). Ovo je više savjet za ispravljanje – Google dopušta zamjenske znakove u polju Disallow, ali ne preporučuje se to i implementirati.
Generic and specific user-agents in the same block of code – Ovdje se radi o sintaksi u vašoj robots.txt datoteci i treba je ispraviti kako bi se izbjegli problemi s indeksiranjem vaše web stranice.
Upozorenja koje možete vidjeti:
Allow: / – Korištenje allow naredbe neće naškoditi vašim pozicijama ili utjecati na vašu web stranicu, ali nije uobičajena praksa. Većina botova, uključujući Google i Bing, prihvatit će ovu direktivu, no neće i ostali – i općenito govoreći, najbolje je da svoju robots.txt datoteku učinite kompatibilnom za sve botove koji indeksiraju sadržaj, ne samo one najpopularnije.
Field name capitalization – Iako nazivi polja nisu nužno osjetljivi na mala i velika slova, neki alati za indeksiranje mogu zahtijevati da prepoznajete razliku između velikih i malih slova, stoga je dobra ideja iskoristiti velika slova za određene naredbe.
Sitemap support – Mnoge robots.txt datoteke sadrže detalje o sitemapu web stranice, ali ni ovo nije uobičajena praksa. Google i Bing, međutim, podržavaju ovu značajku.
Neki servisi za izradu web stranica poput Wixa ne dopuštaju izravno uređivanje robots.txt datoteke, ali omogućuju vam dodavanje no-index tagova na određene stranice.
Drago nam je da vam se sviđa!