ROBOTS.TXT CHECKER

Co je tester a nástroj pro ověření Robots.txt?
Tester Robots.txt je nástroj určený pro odhalení chyb a nedostatků v souboru robots.txt. Soubor robots.txt je součástí webových stránek a robotům z vyhledávačů předává informace o indexovacích pravidlech. Tímto způsobem se zajišťuje správné procházení (a indexování) webu a že důležitý obsah bude zaindexován první.
Tento nástroj je intuitivní a výsledky uvidíte během několika vteřin – stačí zadat kompletní URL adresu vaše webu, přidat /robots.txt (např. vasedomena.cz/robots.txt) a kliknout na tlačítko „zkontrolovat“. Náš nástroj pro kontrolu robots.txt najde všechny chyby (překlepy, syntax a „logické“ chyby) a doporučí vám, jak soubor robots.txt optimalizovat.

Proč byste měli soubor robots.txt kontrolovat?
Problémy se souborem robots.txt – nebo když robots.txt vůbec nemáte – mohou mít negativní vliv na vaše SEO hodnocení. Vaše webové stránky by nemusely být ve výsledcích vyhledávání (SERP) vůbec vidět. K tomu může dojít, když bude nejdříve procházen méně relevantní obsah a poté až důležitý obsah.
Kontrolou souboru robots.txt se můžete vyhnout problémům s procházením a indexováním celého webu místo konkrétních stránek, které vás zajímají. Pokud máte na svém webu například stránky, které mají být dostupné až po přihlášení nebo vyplnění formuláře a nevyřadíte je ze souboru robots.txt, může u nich dojít k indexaci.

Co chyby a varování znamenají?
Při testování souboru robots.txt můžete narazit na celou řadu chyb a upozornění týkajících se „osvědčených postupů“. Nejdříve tu jsou faktory ovlivňující SEO, kterým byste se měli věnovat přednostně. Upozornění nejsou až tak důležitá a slouží spíše jako doporučení, jak soubor robots.txt vylepšit.
Mezi potenciální chyby patří:
Neplatná URL adresa – Na tuto chybu narazíte, pokud na svém webu soubor robots.txt vůbec nemáte.
Potenciální chyba zástupných znaků – Technicky jde spíše o varování než o chybu. Pokud narazíte na tuto zprávu, obvykle to znamená, že váš soubor robots.txt má zástupný znak (*) v poli „Disallow“ (např. Disallow: /*.rss). Jde o chybu v postupu – Google sice zástupné znaky v poli disallow povoluje, ale nedoporučuje se to.
Obecný a specifický user-agent ve stejné části kódu – v tomto případě jde o chybu v syntaxu vašeho souboru robots.txt, kterou byste měli opravit, aby nedocházelo k problémům s procházením vašeho webu.
Mezi potenciální upozornění patří:
Allow: / – Použití příkazu „allow“ sice negativně neovlivní váš web ani ranking, ale běžně se nepoužívá. Většina robotu, včetně Googlu a Bingu, si s touto direktivou poradí, ale neplatí to pro všechny crawlery – a vždycky platí, že je lepší svůj soubor robots.txt přizpůsobit pro všechny crawlery, nejen ty velké.
Název polí velkými písmeny – Názvy polí nejsou nutně case sensitive. Někteří crawleři však velká písmena vyžadují, a proto je vhodné pro konkrétní user-agenty psát názvy polí velkými písmeny.
Sitemap součástí – Mnoho souborů robots.txt obsahuje informace o sitemap (mapa stránek) webových stránek, ale nejedná se o osvědčený postup. Google a Bing však tuto funkci podporují.

Jak můžete opravit chyby v souboru robots.txt?
Oprava chyb v souboru robots.txt závisí na tom, jaký používáte systém. Pokud máte WordPress, můžete vám doporučit plugin jako WordPress Robots.txt Optimization nebo Robots.txt Editor. Pokud své webové stránky připojíte ke službě Google Search Console, můžete si soubor robots.txt upravit tam.
Některé služby pro tvorbu webových stránek, jako je Wix, vám úpravu souboru robots.txt neumožní přímo, ale můžete si tu přidat no-index tagy na konkrétní stránky.