ROBOTS.TXT CHECKER

Örnek: websiteplanet.com/robots.txt

01

Kullanımı Kolay:

Robots.txt dosyanızın doğrulunu sınamak hiçbir zaman kolay değildir. Yalnızca, /robots.txt ile tam URL'nizi yapıştırın, girişe tıklayın ve rapor hızlıca hazır olacaktır.
02

%100 Doğru:

Robots.txt checker sadece yazım, söz dizimi ve "mantık" hatalarından kaynaklanan hataları bulmaz ayrıca faydalı optimizasyon ipuçları da verir.
03

Kesin:

Robots Exclusion Standard ve örümceğe özel uzantıları birlikte hesaba katarak, robots.txt checker'ımız, robots.txt dosyanızdaki herhangi bir hatayı düzeltmenize yardımcı olacak okuması kolay rapor oluşturacaktır.

Sıkça Sorulan Sorular

Robots.txt Test ve Doğrulama Aracı Nedir?

Robots.txt test aracı, robots.txt dosyanızın doğru ve hatasız olduğunu kontrol etmek için tasarlanmıştır. Robots.txt, web sitenizin bir parçası olan ve arama motoru robotları için dizin oluşturma kuralları sunan bir dosyadır. Web sitenizin doğru tarandığından (ve dizinlenmiş olduğundan) ve web sitenizdeki en önemli verilerin dizinde öne alındığından emin olmanızı sağlar.

Bu aracın kullanımı kolaydır ve birkaç saniye içinde bir rapor verir. Tek yapmanız gereken web sitenizin URL’sini tam olarak girmek ve sonuna /robots.txt ekledikten sonra (örn. siteniz.com/robots.txt) ‘Check’ (Kontrol Et) düğmesini tıklatmak. Robots.txt kontrol aracımız hataları (yazım hataları, söz dizimi ve ‘mantık’ hataları gibi) bulur ve robots.txt dosyanızı optimize etmek için ipuçları verir.

Robots.txt Dosyamı Neden Kontrol Etmeliyim?

Robots.txt dosyanız ile ilgili sorunlar (veya hiç robots.txt dosyanız olmaması) SEO puanlarınız üzerinde olumsuz bir etki yaratabilir, hatta web siteniz arama motoru sonuç sayfalarında (AMSS) gösterilmeyebilir. Bunun nedeni, ilgili olmayan içeriğin önemli içerikten önce veya onun yerine taranması riski olmasıdır.

Web siteniz taranmadan önce dosyayı kontrol etmek, dizin oluşturmak istediğiniz sayfalar yerine tüm web sitesi içeriğinizin taranması ve dizinlenmesi gibi sorunları önlemenizi sağlar. Örneğin, ziyaretçilerin yalnızca bir abonelik formunu veya üyenin oturum açma sayfasını doldurduktan sonra erişmesini istediğiniz bir sayfanız varsa, ancak robot.txt dosyanızdan bu sayfayı çıkarmadıysanız, bu sayfa dizine alınmış olabilir.

Hatalar ve Uyarılar Ne Anlama Gelir?

Robots.txt dosyanızı etkileyebilecek çeşitli hataların yanı sıra, dosyanızı kontrol ettiğinizde görebileceğiniz bazı “en iyi uygulama” uyarıları da vardır. Bunlar SEO’nuza etki eden şeylerdir ve düzeltilmeleri gerekir. Uyarılar daha az önemlidir ve robots.txt dosyanızın nasıl geliştirileceği konusunda tavsiye görevi görürler.

Görebileceğiniz hatalar şunlardır:

Geçersiz URL – Robots.txt dosyanız hiç yoksa bu hatayı görürsünüz.

Potansiyel özel sembol hatası – Teknik olarak bir hata değil de bir uyarı olsa da, bu mesajı görmenizin nedeni genellikle robots.txt dosyanızın izin vermeme alanında bir özel sembol (*) içermesidir (örn. İzin vermeme: /*.rss). Bu en iyi uygulama sorunudur. Google, izin vermeme alanında joker karakterlere izin verir ancak bu önerilen bir uygulama değildir.

Aynı kod bloğunda bulunan genel ve belirli kullanıcı temsilcileri – Bu, robots.txt dosyanızda bulunan bir söz dizimi hatasıdır ve web sitenizin taranması ile ilgili sorunları önlemek için düzeltilmelidir.

Görebileceğiniz uyarılar şunlardır:

İzinr ver: / – İzin ver talimatının kullanılması sıralamanızı etkilemez veya sitenizi etkilemez, ancak standart uygulama değildir. Google ve Bing dahil olmak üzere büyük robotlar bu talimatı kabul etse de tüm arama motorları kabul etmemektedir. Genel olarak konuşmak gerekirse, robots.txt dosyanızı sadece en büyüklere değil tüm arama motorlarına uyumlu yapmak iyi bir fikirdir.

Alan adında büyük harf – Alan adları büyük/küçük harfe duyarlı olmayabilir. Ancak bazı arama motorları büyük harf kullanılmasını gerektirebileceği için belirli kullanıcı temsilcileri için alan adlarının büyük harf olarak kullanılması iyi bir fikirdir.

Site haritası desteği – Çoğu robots.txt dosyası, web sitesinin site haritasının ayrıntılarını içerir ancak bu en iyi uygulama olarak kabul edilmez. Ancak Google ve Bing bu özelliği destekler.

Robots.txt Dosyamdaki Hataları Nasıl Düzeltirim?

Robots.txt dosyanızdaki hataları düzeltmek kullandığınız platoforma bağlıdır. WordPress kullanıyorsanız, WordPress Robots.txt Optimizasyon veya Robots.txt Editörü gibi bir eklenti kullanmanız önerilir. İnternet sitenizi Google Arama Konsoluna bağlarsanız, robots.txt dosyanızı oradan da düzenleyebilirsiniz.

Wix gibi bazı site oluşturucular robots.txt dosyalarını doğrudan düzenlemenize izin vermeyip, belirli sayfalar için indekssiz etiketler eklemenize izin verebilirler.