ROBOTS.TXT Pengecek

Perkakas Robots.txt tester dirancang untuk memeriksa apakah file robots.txt Anda akurat dan bebas dari kesalahan. Robots.txt adalah sebuah file yang merupakan bagian dari situs web Anda dan yang menyediakan aturan pengindeksan untuk robot mesin pencari, guna memastikan bahwa situs web Anda dikorek/crawled (dan diindeks) secara tepat dan data yang paling penting pada situs web Anda diindeks terlebih dulu.

Perkakas ini mudah digunakan dan menyediakan laporan dalam hitungan detik – Anda tinggal mengetikkan URL situs web Anda secara lengkap, diikuti dengan/robots.txt (misalnya, yourwebsite.com/robots.txt) dan klik tombol ‘check’. Pemeriksa robots.txt kami akan mencari kesalahan apa pun yang ada (seperti kesalahan ketik, sintaks, dan ‘logika’) dan memberi Anda tip guna mengoptimalkan file robots.txt Anda.

Permasalahan dengan file robots.txt Anda – atau bahkan sama sekali tidak ada file robots.txt – bisa berdampak negatif pada skor SEO Anda, situs web Anda tidak akan mendapat peringkat yang bagus dalam laman hasil mesin pencari atau search engine result pages (SERPs). Hal ini dikarenakan adanya risiko konten non relevan yang dikorek/crawled sebelum atau alih-alih konten yang penting.

Memeriksa file sebelum situs web Anda di-crawled artinya bahwa Anda dapat menghindari permasalahan seperti semua konten situs web Anda di-crawled dan diindeks semuanya daripada hanya laman-laman yang Anda inginkan untuk diindeks. Contoh, jika Anda memiliki laman yang Anda inginkan dikunjungi para pengunjung hanya setelah mereka mengisi sebuah formulir berlangganan, atau laman log masuk anggota, tapi jangan dikecualikan dalam file robot.txt Anda, karena bisa jadi laman tersebut akan diindeks.

Ada sejumlah kesalahan yang dapat memengaruhi file robots.txt Anda, serta sejumlah peringatan ‘praktik terbaik’ yang mungkin Anda lihat saat Anda memeriksa file Anda. Ini adalah hal-hal yang dapat memengaruhi SEO Anda dan harus diperbaiki. Peringatan yang muncul kurang begitu penting dan berlaku sebagai saran tentang bagaimana meningkatkan file robots.txt Anda.

Kesalahan yang mungkin Anda temui:

URL invalid – Anda akan melihat kesalahan ini jika file robots.txt Anda benar-benar hilang

Potensi kesalahan wildcard – Meskipun secara teknis ini adalah sebuah peringatan daripada sebuah kesalahan, jika Anda melihat pesan ini biasanya dikarenakan file robots.txt Anda mengandung sebuah (*) pada bagian Disallow (misalnya Disallow: /*.rss). Ini adalah persoalan praktik terbaik – Google memungkinkan sejumlah wildcard pada bagian Disallow tapi ini bukanlah praktik yang disarankan.

Agen-pengguna (user-agent) generik dan spesifik dalam blok kode yang sama – Ini adalah kesalahan sintaks di dalam file robots.txt Anda dan sebaiknya diperbaiki guna menghindari permasalahan terkait dengan crawling pada situs web Anda.

Peringatan yang mungkin Anda temui:

Allow: / – Menggunakan perintah allow / izinkan tidak akan merusak peringkat atau memengaruhi situs web Anda, tapi ini bukanlah praktik standar. Robot-robot utama termasuk Google dan Bing akan menerima perintah ini, tapi tidak semua perayap / crawler menerimanya – dan secara umum, sebaiknya membuat file robots.txt Anda kompatibel dengan semua perayap/crawler, tidak hanya dengan yang besar-besar saja.

Kapitalisasi field name – Meskipun field name tidak harus peka terhadap huruf kecil atau kapital, beberapa perayap/crawler membutuhkan kapitalisasi, oleh karena itu ide bagus untuk mengkapitalisasi field name bagi agen pengguna spesifik.

Dukungan sitemap – Banyak file robots.txt yang menyertakan rincian sitemap untuk situs web, tapi ini tidak dianggap sebagai praktik terbaik. Namun Google dan Bing mendukung fitur ini.

Memperbaiki kesalahan di dalam file robots.txt Anda tergantugn pada platform yang Anda gunakan. Jika Anda menggunakan WordPress, disarankan untuk menggunakan pengaya / plugin seperti WordPress Robots.txt Optimization atau Robots.txt Editor. Jika Anda mengoneksikan situs web Anda pada Google Search Console, Anda juga bisa mengedit file robots.txt Anda di sini.

Beberapa pembangun situs web seperti Wix tidak mengizinkan Anda mengedit file robots.txt secara langsung tapi mengizinkan Anda untuk menambahkan tag-tag tanpa indeks untuk laman-laman tertentu.