ما هو robots.txt؟
هو ملف يقدّم لبرامج الزحف إرشادات حول التعامل مع موقعك.
أداة SEO تقنية
أنشئ قواعد برامج الزحف، وأضف روابط خرائط الموقع، واستخدم إعدادات جاهزة وآمنة لكل بيئة.
ابدأ بإعداد «موقع إنتاج» للموقع المباشر، أو اختر إعدادًا أكثر أمانًا للموقع التجريبي أو المنطقة الخاصة.
استخدم * لتطبيق القواعد على جميع برامج الزحف، أو أدخل اسم زاحف محدد.
أضف المسارات التي يُسمح لبرامج الزحف بالوصول إليها، مسارًا في كل سطر يبدأ بـ /.
أضف المسارات التي تريد منع الزحف إليها، مسارًا في كل سطر يبدأ بـ /.
اتركه فارغًا ما لم يكن الزاحف يدعم التأخير صراحةً، واستخدم عددًا صحيحًا من الثواني.
أضف الرابط العام الكامل لكل خريطة موقع، رابطًا في كل سطر.
User-agent: *هو ملف يقدّم لبرامج الزحف إرشادات حول التعامل مع موقعك.
نعم.
نعم، نزّل ملف robots.txt جاهزًا للاستخدام.