ROBOTS.TXT TESTER

Was tut der Robots.txt Tester?
Der Robots.txt Tester wurde entwickelt, um zu überprüfen, ob Deine robots.txt-Datei korrekt und fehlerfrei ist. Die Robots.txt ist Teil Deiner Webseite und enthält die Indexierungsregeln für Suchmaschinen-Crawler. mit Hilfe der Datei wird sichergestellt, dass Deine Webseite korrekt „gecrawlt“ und die wichtigsten Daten auf Deiner Website zuerst indiziert werden.
Dieses Tool ist einfach zu bedienen und liefert Dir in Sekundenschnelle einen Bericht. Gib einfach die vollständige URL Deiner Website ein, gefolgt von /robots.txt (z.B. yourwebsite.com/robots.txt) und klicke auf die Schaltfläche “Testen”. Unser Robots.txt Tester findet alle Fehler (z.B. Tipp-, Syntax- und Logikfehler) und gibt Dir Tipps zur Optimierung der robots.txt-Datei.

Warum muss ich meine My Robots.txt Datei prüfen?
Probleme mit der robots.txt-Datei (oder gar der Verzicht auf eine solche Datei) können sich negativ auf das Suchmaschinenranking auswirken: Deine Website wird also möglicherweise nicht so gut in den Ergebnisseiten der Suchmaschinen (SERPs) platziert. Dies ist dann darauf zurückzuführen, dass vor oder anstelle der wichtigen Inhalte zu viele nicht relevante Inhalte gecrawlt werden.
Indem Du die Datei vor dem Crawlen Deiner Website testest, kannst Du vermeiden, dass der gesamte Inhalt Deiner Website gecrawlt und indiziert wird und die Aufmerksamkeit der Crawler stattdessen auf die wichtigen Seiten lenken. Wenn Du beispielsweise eine Seite hast, auf die Besucher nur nach dem Ausfüllen eines Anmeldeformulars oder nach einem Login zugreifen können, Du diese aber nicht in Deiner robot.txt-Datei ausschließt, wird sie mit indiziert werden.

Was sagen die Fehler und Warnungen aus?
Es gibt eine Reihe von Fehlern, die sich auf Deine robots.txt-Datei auswirken können, sowie einige “Best-Practice”-Warnungen, die Du beim Überprüfen Deiner Datei ausgegeben werden könnten. Dies zeigen Probleme auf, die Deine SEO-Bemühungen beeinflussen können und die behoben werden sollten. Warnungen sind weniger kritisch und dienen lediglich als Ratschlag, wie Du Deine robots.txt-Datei optimieren könntest
Folgende Fehler könnten angezeigt werden:
Ungültige URL – Dieser Fehler wird angezeigt, wenn keine robots.txt Datei gefunden werden konnte.
Potentieller Platzhalter-Fehler – Obwohl es sich technisch gesehen eher um eine Warnung als um einen Fehler handelt, ist die Meldung normalerweise darauf zurückzuführen, dass Deine robots.txt-Datei im Feld “Disallow” einen Platzhalter (*) enthält (z.B. Disallow: /*.rss). Dies ist ein Best-Practice-Problem. Google lässt Platzhalter im Feld “Disallow” zu, allerdings wird die Verwendung nicht empfohlen.
Generische und spezifische User-Agent-Einträge im selben Code-Block – Dies ist ein Syntaxfehler in Deiner robots.txt-Datei und sollte korrigiert werden, um Probleme beim Crawlen Deiner Website zu vermeiden.
Folgende Warnungen könnten angezeigt werden:
Allow: / – Die Verwendung von „Allow“ schadet Deinem Ranking nicht und wirkt sich nicht auf Deine Website aus. Es ist jedoch keine übliche Vorgehensweise. Einige der wichtigsten Crawler, inkl. der von Google und Bing, akzeptieren diese Richtlinie – aber bei weitem nicht alle. Im Allgemeinen ist es am besten, wenn Deine robots.txt-Datei zu allen Crawlern kompatibel ist, nicht nur zu denen der großen Suchmaschinen.
Großschreibung von Feldnamen – Obwohl es bei Feldnamen keine Festlegung bez. Groß- und Kleinschreibung gibt, erwarten einige Crawler, dass der erste Buchstabe große geschrieben wird. Daher ist es empfehlenswert, Feldnamen für bestimmte User-agents mit großem Anfangsbuchstaben zu schreiben.
Sitemap-Support – Viele robots.txt-Dateien enthalten die Details zur Website-Sitemap, auch wenn dies jedoch nicht als bewährte Methode angesehen wird. Google und Bing unterstützen diese Funktion jedoch beide.

Wie korrigiere ich die Fehler in meiner Robots.txt Datei?
Wie Du die Fehler in Deiner robots.txt-Datei beheben kannst, hängt von der verwendeten Plattform ab. Wenn Du WordPress verwendest, ist es ratsam, ein Plugin wie „WordPress Robots.txt Optimization“ oder „Robots.txt Editor“ zu verwenden. Wenn Du Deine Website mit Google Search Console verbindest, kannst Du dort auch Deine robots.txt-Datei bearbeiten.
Bei einigen Website-Baukästen wie Wix kannst Du Deine robots.txt-Datei zwar nicht direkt bearbeiten, aber zumindest für bestimmte Seiten Tags hinzufügen.