ROBOTS.TXT CHECKER

مثال: websiteplanet.com/robots.txt

01

سهل الاستخدام:

لم يكن اختبار دقة دقة ملفات robots.txt بمثل هذه السهولة من قبل. قم فقط بلصق عنوان URL الكامل، ومع robots.txt، انقر إدخال، وسيكون تقريرك جاهزا بسرعة.
02

دقة 100%:

لن تقوم فقط أداة robots.txt checker باكتشاف الأخطاء الناتجة عن الأخطاء المطبعية، وتركيب الجمل، والأخطاء "المنطقية"، ولكن ستقدم لك نصائح تحسين مفيدة كذلك.
03

الدقة:

مع الأخذ في الاعتبار معيار استبعاد الآليين والامتدادات العنكبوتية، ستقوم أداة robots.txt checker بإنشاء تقرير سهل القراءة يساعدك على تصحيح أي أخطاء قد تكون لديك في ملف robots.txt.

الأسئلة الشائعة

ما هي أداة Robots.txt؟

أداة التحقق Robots.txt مصممة للتحقق من دقة ملف robots.txt وخلوّه من الأخطاء. ملف Robots.txt هو ملف الموقع الإلكتروني الذي يقدم قواعد الفهرسة لآليات محركات البث، لضمان تضمين موقعك وفهرسته بشكل صحيح وفهرسة معظم البيانات المهمة على موقعك الإلكتروني أولاً.

هذه الأداة بسيطة الاستخدام وتقدم لك تقرير في ثواني، اكتب عنوان URL الكامل لموقعك الإلكتروني، ثم /robots.txt (على سبيل المثال، yourwebsite.com/robots.txt) وانقر على زر “التحقق”. أداة robots.txt سوف تعثر على أي أخطاء (مثل الأخطاء الإملائية وأخطاء التركيب والأخطاء “المنطقية”) وتقدم لك إرشادات لتحسين ملف robots.txt.

لماذا أحتاج إلى التحقق من ملف Robots.txt؟

وجود مشكلات بملف robots.txt، أو عدم وجود ملف robots.txt على الإطلاق، قد يكون له تأثير سلبي على تقييم موقعك في تحسين محركات البحث، قد لا يتم ترتيب موقعك أو يظهر في صفحات نتائج البحث. ويرجع ذلك إلى وضع المحتوى غير ذي الصلة قبل أو بدلاً من المحتوى المهم.

التحقق من الملف قبل نشر موقعك الإلكتروني يعني قدرتك على تجنب مشكلات مثل تصنيف وفهرسة كل موقعك الإلكتروني بدلاً من الصفحات التي تريد فهرستها فقط. على سبيل المثال، إذا كان لديك صفحة تريد وصول الزوار لها فقط بعد ملء نموذج اشتراك، أو صفحة تسجيل دخول الأعضاء، ولكن لا تستثني تلك الصفحات في ملف robot.txt، قد ينتهي الأمر بفهرسة وإدراج تلك الصفحات.

ماذا تعني الأخطاء والتنبيهات؟

هناك مجموعة من الأخطاء يمكنها التأثير على ملف robots.txt، فضلاً عن بعض تنبيهات “أفضل ممارسة” التي قد تراها عند التحقق من ملفك. هذه هي الأشياء التي يمكنها التأثير على تحسين محركات البحث ويمكن إصلاحها. تعتبر التنبيهات أقل أهمية وتعمل بمثابة نصائح حول كيفية تحسين ملف robots.txt لديك.

الأخطاء التي قد تراها تتضمن:

عنوان URL غير صحيح – سوف ترى هذا الخطأ إذا كان ملف robots.txt مفقود بالكامل.

خطأ بدل محتمل – بالرغم من أنه تنبيه من الناحية الفنية وليس خطئاً، إذا رأيت هذه الرسالة فهذا يعني أن ملف robots.txt يحتوي على تبديلات (*) في الخانة غير المسموح بها (مثل Disallow: /*.rss). جوجل يسمح بالتبديلات في خانة Disallow ولكنها ممارسة غير مستحبة.

عناصر عامة وخاصة للمستخدم في نفس الكود – هذا خطأ في تركيب كود ملف robots.txt ويجب تصحيحها لتجنب المشكلات مع تصنيف وفهرسة موقعك الإلكتروني.

التنبيهات التي قد تراها تتضمن:

السماح: استخدام أمر السماح لن يؤثر على تصنيف موقعك الإلكتروني، ولكنها ليست ممارسة قياسية. معظم آليات التصنيف مثل جوجل أو بينغ سوف تقبل هذا الامر، ولكن ليس كل المحركات تفعل ذلك. بشكل عام، من الأفضل جعل ملف robots.txt متوافق مع كل محركات البحث، وليس محركات البحث الكبيرة فقط.

تكبير اسم الخانة – ليس بالضرورة أن تكون أسماء الخانات حساسة تجاه الكبيرة، ولكن بعض محركات البحث تتطلب استخدام أحرف كبيرة، لذا من الأفضل استخدام أحرف كبيرة للعناصر التي تهم المستخدم بشكل أكبر.

دعم خريطة الموقع – العديد من ملفات robots.txt تتضمن تفاصيل خريطة الموقع الإلكتروني، ولكن لا يعتبر ذلك أفضل ممارسة. ومع ذلك، تدعم محركات البحث جوجل وبينغ تلك الخاصة.

كيف أصلح الأخطاء في ملف Robots.txt؟

إصلاح أخطاء ملف robots.txt يعتمد على المنصة التي تستخدمها. إذا كنت تستخدم WordPress، يُنصح باستخدام مكون إضافي مثل WordPress Robots.txt Optimization أو Robots.txt Editor. إذا كان موقعك الإلكتروني متصل بأدوات مشرفي محركات البحث جوجل، سوف تكون قادراً أيضاً على تحرير ملف robots.txt من هناك.

بعض أدوات إنشاء المواقع مثل Wix لا تسمح بتحرير ملف robots.txt مباشرة ولكن تسمح بإضافة وسوم غير مفهرسة لصفحات معينة.