ROBOTS.TXT Pengecek
Mudah Digunakan:
Sekarang jadi sangat mudah menguji akurasi dari file robots.txt Anda. Tinggal tempelkan URL lengkap Anda, dengan /robots.txt, klik enter, dan laporan Anda akan siap dalam sekejap.
100% Akurat:
robots.txt checker kami tidak hanya mencari kesalahan pada pengetikan, sintaksis, dan kesalahan “logika”, juga akan memberi tip-tip optimasi yang sangat berguna bagi Anda.
Tepat:
Mempertimbangkan Standar Robots Exclusion dan ekstensi-ekstensi khusus-spider, robots.txt checker kami akan menghasilkan laporan yang mudah dibaca yang akan membantu mengkoreksi kesalahan apapun pada file robots.txt Anda.
Pertanyaan Umum
Perkakas ini mudah digunakan dan menyediakan laporan dalam hitungan detik – Anda tinggal mengetikkan URL situs web Anda secara lengkap, diikuti dengan/robots.txt (misalnya, yourwebsite.com/robots.txt) dan klik tombol ‘check’. Pemeriksa robots.txt kami akan mencari kesalahan apa pun yang ada (seperti kesalahan ketik, sintaks, dan ‘logika’) dan memberi Anda tip guna mengoptimalkan file robots.txt Anda.
Memeriksa file sebelum situs web Anda di-crawled artinya bahwa Anda dapat menghindari permasalahan seperti semua konten situs web Anda di-crawled dan diindeks semuanya daripada hanya laman-laman yang Anda inginkan untuk diindeks. Contoh, jika Anda memiliki laman yang Anda inginkan dikunjungi para pengunjung hanya setelah mereka mengisi sebuah formulir berlangganan, atau laman log masuk anggota, tapi jangan dikecualikan dalam file robot.txt Anda, karena bisa jadi laman tersebut akan diindeks.
Kesalahan yang mungkin Anda temui:
URL invalid – Anda akan melihat kesalahan ini jika file robots.txt Anda benar-benar hilang
Potensi kesalahan wildcard – Meskipun secara teknis ini adalah sebuah peringatan daripada sebuah kesalahan, jika Anda melihat pesan ini biasanya dikarenakan file robots.txt Anda mengandung sebuah (*) pada bagian Disallow (misalnya Disallow: /*.rss). Ini adalah persoalan praktik terbaik – Google memungkinkan sejumlah wildcard pada bagian Disallow tapi ini bukanlah praktik yang disarankan.
Agen-pengguna (user-agent) generik dan spesifik dalam blok kode yang sama – Ini adalah kesalahan sintaks di dalam file robots.txt Anda dan sebaiknya diperbaiki guna menghindari permasalahan terkait dengan crawling pada situs web Anda.
Peringatan yang mungkin Anda temui:
Allow: / – Menggunakan perintah allow / izinkan tidak akan merusak peringkat atau memengaruhi situs web Anda, tapi ini bukanlah praktik standar. Robot-robot utama termasuk Google dan Bing akan menerima perintah ini, tapi tidak semua perayap / crawler menerimanya – dan secara umum, sebaiknya membuat file robots.txt Anda kompatibel dengan semua perayap/crawler, tidak hanya dengan yang besar-besar saja.
Kapitalisasi field name – Meskipun field name tidak harus peka terhadap huruf kecil atau kapital, beberapa perayap/crawler membutuhkan kapitalisasi, oleh karena itu ide bagus untuk mengkapitalisasi field name bagi agen pengguna spesifik.
Dukungan sitemap – Banyak file robots.txt yang menyertakan rincian sitemap untuk situs web, tapi ini tidak dianggap sebagai praktik terbaik. Namun Google dan Bing mendukung fitur ini.
Beberapa pembangun situs web seperti Wix tidak mengizinkan Anda mengedit file robots.txt secara langsung tapi mengizinkan Anda untuk menambahkan tag-tag tanpa indeks untuk laman-laman tertentu.
Sangat senang Anda enyukainya