ROBOTS.TXT ELLENŐRZŐ

Példa: websiteplanet.com/robots.txt

01

Egyszerűen használható

Sose volt egyszerűbb tesztelni a robots.txt fájljának pontosságát. Csupán illessze be a teljes URL-jét, a /robots.txt-vel, üssön entert és a jelentése gyorsan elkészül.
02

100%-ig pontos:

A robots.txt ellenőrző fájlunk nem csak hogy megtalálja a hibákat, a sajtóhibákat, szintaktikai és logikai hibákat is beleértve, de sgítőkész optimalizációs tippeket is kínál.
03

Pontosan:

Figyelembe véve, hogy a Robot Kizáró Standard és a spider-specifikus kiterjesztések létét, a robots.txt ellenőrzőnk egy egyszerűen olvasható jelentést generál, ami segít kijavítani bármilyen hibát, ami előfordulhat a robots.txt fájlban.
Gyakran Ismételt Kérdések

A Robots.txt ellenőrző eszköz segítségével meggyőződhet arról, hogy a robots.txt fájl pontos és nincsenek benne hibák. A robots.txt fájl az Ön weboldalához tartozik: indexelési szabályok találhatók benne, amelyek eligazítják a keresőmotorok robotjait annak biztosítása érdekében, hogy weboldalát helyesen térképezzék fel (és indexeljék), illetve, hogy először a legfontosabb adatok kerüljenek indexelésre az Ön weboldalán.

Ez az eszköz egyszerűen használható, és másodpercek alatt legyártja a jelentést – csak írja be a weboldal teljes URL-jét, és írja a végére a „/robots.txt” kifejezést (például: weboldalam.com/robots.txt), majd kattintson az „ellenőrzés” gombra. A robots.txt ellenőrző eszköz minden hibát (például helyesírási, szintaxis- és „logikai” hibákat) megtalál, és tippeket ad a robots.txt fájl optimalizálására.

A robots.txt fájllal kapcsolatos problémák – vagy ha egyáltalán nem rendelkezik az oldala robots.txt fájllal – negatívan befolyásolhatják a SEO pontszámokat, és így előfordulhat, hogy weboldala nem szerepel jó helyen a keresőmotorok találati oldalán (SERP). Ez akkor történhet meg, ha a nem releváns tartalmakat a fontos tartalmak előtt vagy helyett térképezik fel a keresőrobotok.

Ha ellenőrzi ezt a fájlt, mielőtt a keresőrobotok feltérképezik a weboldalát, akkor elkerülheti a problémákat, például megakadályozhatja, hogy a weboldal teljes tartalmát feltérképezzék és indexeljék a releváns indexelhető oldalak helyett. Például, ha van egy oldala, amelyet elvileg csak akkor érhetnek el a látogatók, miután feliratkoztak, vagy bejelentkeztek, azonban elfelejtette ezt az oldalt kizárni a robot.txt fájlban, akkor könnyen lehet, hogy indexelik majd.

A fájl ellenőrzésekor több olyan hibát deríthet fel, amelyek kedvezőtlen hatással vannak a robots.txt fájlra, valamint láthat néhány „bevált gyakorlati” figyelmeztetést. Ezek a problémák befolyásolhatják a SEO-ját, ezért ezeket ki kell javítani. A figyelmeztetések kevésbé jelentősek, inkább tanácsként szolgálnak a robots.txt fájl optimalizálása céljából.

Például a következő hibákat láthatja:

Érvénytelen URL – Ezt a hibát akkor kapja, ha a robots.txt fájl teljesen hiányzik.

Potenciális helyettesítő karakterhiba (wildcard) – Noha ez elvileg nem hibának, csak figyelmeztetésnek számít, ha ezt az üzenetet látja, általában az az oka, hogy a robots.txt fájl helyettesítő karaktert (*) tartalmaz a Disallow (Tiltás) mezőben (pl. Disallow: /*.rss). Ez bevált gyakorlatnak számít – a Google engedélyezi a helyettesítő karaktereket a Tiltás mezőben, de ugyanakkor nem ajánlott gyakorlat.

Generikus és specifikus felhasználói ágensek (user agent) ugyanabban a kód-blokkban – Ez egy szintaxishiba a robots.txt fájlban, és javítani szükséges, hogy ne forduljanak elő problémák a weboldala feltérképezése során.

A következő figyelmeztetéseket láthatja:

Allow: / (Engedélyezés) – Az engedélyezési sorrend használata nem rontja a rangsorolást, és nincsen következménye a weboldalra nézve, de ez nem számít standard gyakorlatnak. A nagyobb keresőrobotok, a Google és a Bing is, elfogadják ezt az irányelvet, de nem minden keresőrobot tesz így – és általánosságban elmondható, hogy a legjobb, ha a robots.txt fájl kompatibilis minden keresőrobottal, nem csak a nagy keresőkével.

A mezőnév (field name) nagybetűkkel írandó – Noha a mezőnevek nem feltétlenül érzékenyek a kis- és nagybetűkre, egyes keresőrobotok nagybetűs formátumot várnak, ezért érdemes az adott felhasználói ágensekhez tartozó mezőneveket nagybetűkkel feltüntetni.

Oldaltérkép támogatás – Sok robots.txt fájl tartalmazza az oldaltérkép részleteit, de ezt nem tekintik igazán helyes gyakorlatnak. A Google és a Bing mindazonáltal támogatják ezt a funkciót.

Az Ön által használt platformtól függ, hogyan javíthatja a hibákat a robots.txt fájlban. Ha WordPress-t használ, tanácsos plugint használni, például a WordPress Robots.txt Optimization vagy a Robots.txt Editor plugint. Ha összekapcsolja weboldalát a Google Search Console-lal, akkor ott is szerkesztheti a robots.txt fájlt.

Egyes weboldal-készítők, például a Wix, nem engedélyezik a robots.txt fájl közvetlen módosítását, de megengedik, hogy bizonyos oldalakhoz index nélküli vagy no-index tageket adjon meg.