ROBOTS.TXT SJEKKER

Robots.txt testverktøyet er designet for å sjekke at din robots.txt fil er nøyaktig og fri for feil. Robots.txt er en fil som er en del av ditt nettsted, og som står for indekseringsregler for søkemotor-roboter, for å sørge for at ditt nettsted gjennomgås (og indekseres) på korrekt måte og at den viktigste dataen på ditt nettsted indekseres først.

Dette verktøyet er enkelt å bruke og gir deg en rapport på sekunder – bare fyll inn ditt nettsteds fullstendige URL, etterfulgt av /robots.txt (f.eks dittnettsted.no/robots.txt) og klikk på ‘check’ knappen. Vår robots.txt sjekk vil finne feil (som skrivefeil, syntaks og ‘logiske’ feil) og gir deg tips for å optimalisere din robots.txt fil.

Problemer med din robots.txt fil – eller å ikke ha en robots.txt fil i det hele tatt – kan ha en negativ innvirkning på din SEO kvalitet, slik at ditt nettsted ikke rangeres like bra i søkeresultatene (SERPs). Dette er på grunn av risiko for at ikke-relevant innhold gjennomgås før, eller i stedet for, viktig innhold.

Ved å sjekke filen før nettstedet ditt crawles, kan du kan unngå problemer som at alt innhold på ditt nettsted gjennomgås og indekseres i motsetning til bare de sidene du ønsker indeksert. For eksempel, dersom du har en side som du ønsker at besøkende kun får tilgang på etter de har fylt ut et abonnementsskjema, eller logget inn, men ikke ekskluderer det i din robot.txt fil, kan den ende opp med å bli indeksert.

Det er en rekke feil som kan påvirke din robots.txt fil, samt noen ‘beste praksis’ advarsler som du kan se når du sjekker filen. Dette er ting som kan påvirke din SEO og som bør fikses. Advarsler er mindre viktige og fungerer som råd om hvordan du kan forbedre din robots.txt fil.

Feil du kan se inkluderer:

Ugyldig URL – Du vil se denne feilen dersom robots.txt filen din mangler helt.

Potensiell wildcard feil – Dette er teknisk sett en advarsel i motsetning til en feil, men dersom du ser denne beskjeden er det vanligvis på grunn av at din robots.txt fil inneholder et wildcard (*) i Disallow feltet (f.eks Disallow: /*.rss). Dette er et best praksis problem – Google tillater wildcards i Disallow feltet, men det er ikke en anbefalt praksis.

Generiske og spesifikke brukeragenter i samme kodeblokk – Dette er en syntaksfeil i din robots.txt fil og bør korrigeres for å unngå problemer med crawling av ditt nettsted.

Advarsler du kan se er blant annet:

Allow: / – Bruk av tillat ordren vil ikke skade rangeringen din eller påvirke nettstedet ditt, men det er ikke standard praksis. Store roboter som Google og Bing vil akseptere dette direktivet, men ikke alle crawlere gjør det - og generelt sett, er det best å gjøre din robots.txt fil kompatibel med alle crawlere, ikke bare de største.

Bruk av store bokstaver i feltnavn – Selv om feltnavn ikke nødvendigvis er sensitiv for om det bruke stor eller liten bokstav, kan enkelte crawlere kreve at det brukes store bokstaver, derfor er det en god idé å bruke store bokstaver i feltnavn for spesifikke brukeragenter.

Sitemap support – Mange robots.txt filer inkluderer detaljene til sitemapen for nettstedet, men dette er ikke ansett som best praksis. Google og Bing derimot, støtter begge denne funksjonen.

Løsing av feil i din robots.txt fil avhenger av plattformen du bruker. Dersom du bruker WordPress, er det anbefalt å bruke et tillegg som WordPress Robots.txt Optimization eller Robots.txt Editor. Dersom du koblet nettstedet ditt til Google Search Console, vil du også kunne redigere din robots.txt fil der.

Enkelte nettstedbyggere som Wix lar deg ikke endre din robots.txt fil direkte, men lar deg legge til ikke-indekserte merkelapper for spesifikke sider.