ROBOTS.TXT CHECKER
Snadné použití:
Nikdy předtím nebylo snadnější otestovat přesnost souboru robots.txt. Jednoduše vložte kompletní URL adresu s /robots.txt, klikněte na tlačítko enter a váš přehled bude rychle připraven.
100% přesný:
Nejen, že náš robot.txt checker nalezne chyby kvůli pravopisným chybám, chybám syntaxe a "logiky", ale také vám poskytne užitečné tipy pro optimalizaci.
Přesný:
S přihlédnutím k standardu Robots Exclusion Standard a rozšíření specifických pro spidery, náš kontrolní soubor robots.txt vytvoří snadno čitelný přehled, který pomůže opravit chyby, které máte ve vašem robots.txt souboru.
Časté dotazy
Tento nástroj je intuitivní a výsledky uvidíte během několika vteřin – stačí zadat kompletní URL adresu vaše webu, přidat /robots.txt (např. vasedomena.cz/robots.txt) a kliknout na tlačítko „zkontrolovat“. Náš nástroj pro kontrolu robots.txt najde všechny chyby (překlepy, syntax a „logické“ chyby) a doporučí vám, jak soubor robots.txt optimalizovat.
Kontrolou souboru robots.txt se můžete vyhnout problémům s procházením a indexováním celého webu místo konkrétních stránek, které vás zajímají. Pokud máte na svém webu například stránky, které mají být dostupné až po přihlášení nebo vyplnění formuláře a nevyřadíte je ze souboru robots.txt, může u nich dojít k indexaci.
Mezi potenciální chyby patří:
Neplatná URL adresa – Na tuto chybu narazíte, pokud na svém webu soubor robots.txt vůbec nemáte.
Potenciální chyba zástupných znaků – Technicky jde spíše o varování než o chybu. Pokud narazíte na tuto zprávu, obvykle to znamená, že váš soubor robots.txt má zástupný znak (*) v poli „Disallow“ (např. Disallow: /*.rss). Jde o chybu v postupu – Google sice zástupné znaky v poli disallow povoluje, ale nedoporučuje se to.
Obecný a specifický user-agent ve stejné části kódu – v tomto případě jde o chybu v syntaxu vašeho souboru robots.txt, kterou byste měli opravit, aby nedocházelo k problémům s procházením vašeho webu.
Mezi potenciální upozornění patří:
Allow: / – Použití příkazu „allow“ sice negativně neovlivní váš web ani ranking, ale běžně se nepoužívá. Většina robotu, včetně Googlu a Bingu, si s touto direktivou poradí, ale neplatí to pro všechny crawlery – a vždycky platí, že je lepší svůj soubor robots.txt přizpůsobit pro všechny crawlery, nejen ty velké.
Název polí velkými písmeny – Názvy polí nejsou nutně case sensitive. Někteří crawleři však velká písmena vyžadují, a proto je vhodné pro konkrétní user-agenty psát názvy polí velkými písmeny.
Sitemap součástí – Mnoho souborů robots.txt obsahuje informace o sitemap (mapa stránek) webových stránek, ale nejedná se o osvědčený postup. Google a Bing však tuto funkci podporují.
Některé služby pro tvorbu webových stránek, jako je Wix, vám úpravu souboru robots.txt neumožní přímo, ale můžete si tu přidat no-index tagy na konkrétní stránky.
Máme radost, že se vám líbí!