ROBOTS.TXT SJEKKER
Enkel å bruke:
Det har aldri vært letter å teste nøyaktigheten av din robots.txt fil. Bare lim hele din URL, med /robots.txt, klikk enter, og din rapport vil snart være klar.
100% Nøyaktig:
Ikke bare vil vår robots.txt sjekker finne feil på grunn av feilskriving, syntaks, og «logiske» feil, den vil også gi deg optimaliserings tips.
Presis:
Angående både Robots Exclusion Standard og spider-spesifikke utvideser, vil vår robots.txt sjekker generere en rapport som er enkel å lese og som hjelper deg å korrigere alle feil du måtte ha i din robots.txt fil.
Ofte stilte spørsmål
Dette verktøyet er enkelt å bruke og gir deg en rapport på sekunder – bare fyll inn ditt nettsteds fullstendige URL, etterfulgt av /robots.txt (f.eks dittnettsted.no/robots.txt) og klikk på ‘check’ knappen. Vår robots.txt sjekk vil finne feil (som skrivefeil, syntaks og ‘logiske’ feil) og gir deg tips for å optimalisere din robots.txt fil.
Ved å sjekke filen før nettstedet ditt crawles, kan du kan unngå problemer som at alt innhold på ditt nettsted gjennomgås og indekseres i motsetning til bare de sidene du ønsker indeksert. For eksempel, dersom du har en side som du ønsker at besøkende kun får tilgang på etter de har fylt ut et abonnementsskjema, eller logget inn, men ikke ekskluderer det i din robot.txt fil, kan den ende opp med å bli indeksert.
Feil du kan se inkluderer:
Ugyldig URL – Du vil se denne feilen dersom robots.txt filen din mangler helt.
Potensiell wildcard feil – Dette er teknisk sett en advarsel i motsetning til en feil, men dersom du ser denne beskjeden er det vanligvis på grunn av at din robots.txt fil inneholder et wildcard (*) i Disallow feltet (f.eks Disallow: /*.rss). Dette er et best praksis problem – Google tillater wildcards i Disallow feltet, men det er ikke en anbefalt praksis.
Generiske og spesifikke brukeragenter i samme kodeblokk – Dette er en syntaksfeil i din robots.txt fil og bør korrigeres for å unngå problemer med crawling av ditt nettsted.
Advarsler du kan se er blant annet:
Allow: / – Bruk av tillat ordren vil ikke skade rangeringen din eller påvirke nettstedet ditt, men det er ikke standard praksis. Store roboter som Google og Bing vil akseptere dette direktivet, men ikke alle crawlere gjør det – og generelt sett, er det best å gjøre din robots.txt fil kompatibel med alle crawlere, ikke bare de største.
Bruk av store bokstaver i feltnavn – Selv om feltnavn ikke nødvendigvis er sensitiv for om det bruke stor eller liten bokstav, kan enkelte crawlere kreve at det brukes store bokstaver, derfor er det en god idé å bruke store bokstaver i feltnavn for spesifikke brukeragenter.
Sitemap support – Mange robots.txt filer inkluderer detaljene til sitemapen for nettstedet, men dette er ikke ansett som best praksis. Google og Bing derimot, støtter begge denne funksjonen.
Enkelte nettstedbyggere som Wix lar deg ikke endre din robots.txt fil direkte, men lar deg legge til ikke-indekserte merkelapper for spesifikke sider.
So glad for at du likte det!