مولّد ملف Robots.txt
أخبر محركات البحث والروبوتات الأخرى بالأجزاء التي يمكنها زيارتها من موقعك.
محفوظ على هذا الجهاز
يعمل داخل متصفحك. لا يُرفع أي شيء.
محفوظ
القواعد
مسار واحد في كل سطر، يبدأ بـ /. استخدم * كحرف بدل و$ لنهاية العنوان.
اختياري. يلتزم به Bing وبعض الروبوتات الأخرى؛ ويتجاهله Google.
زواحف محددة
عنوان كامل واحد في كل سطر، مثلًا https://example.com/sitemap.xml.
ملف robots.txt الخاص بك
نقاط للتحقق
اختبار عنوان
اتركه فارغًا لحظر الموقع كله عن هذا الزاحف.
طريقة الاستخدام
-
اختر القاعدة العامة
اسمح بكل شيء، أو احظر كل شيء، أو اذكر المسارات التي يجب أن تتجاهلها الزواحف. وتساعدك القوالب الجاهزة على البدء.
-
أضف روبوتات الذكاء الاصطناعي والزواحف وخرائط الموقع
احظر زواحف تدريب الذكاء الاصطناعي بنقرة واحدة، وأضف قواعد لروبوتات محددة، واذكر خرائط موقعك.
-
اختبر وانشر
اختبر بعض العناوين، ثم نزّل الملف وضعه في جذر موقعك: example.com/robots.txt.
الأسئلة الشائعة
أين أضع ملف robots.txt؟
في جذر نطاقك، ليكون متاحًا على https://your-site.com/robots.txt. ويحتاج كل نطاق فرعي إلى ملفه الخاص. ولا تبحث عنه الزواحف في أي مكان آخر.
هل يُخفي robots.txt صفحة من Google؟
لا. فهو يطلب من الزواحف عدم زيارة الصفحة، لكن الصفحة قد تظهر في النتائج إذا أشارت إليها مواقع أخرى. ولإبقاء صفحة خارج Google، اسمح بالزحف إليها وأضف وسم noindex، أو احمها بكلمة مرور.
كيف أحظر زواحف الذكاء الاصطناعي مثل GPTBot؟
فعّل «حظر زواحف تدريب الذكاء الاصطناعي». عندها يطلب الملف من GPTBot وClaudeBot وGoogle-Extended وغيرها من روبوتات التدريب الابتعاد عن موقعك كله. تحترم الروبوتات المنضبطة ذلك، لكن robots.txt طلب وليس قفلًا.
ماذا يحدث عندما تتعارض قواعد Allow وDisallow؟
يطبّق Google ومعظم الزواحف الحديثة القاعدة الأكثر تحديدًا، أي ذات المسار المطابق الأطول. وعندما تتساوى قاعدتان في الطول، تفوز Allow. وتتبع أداة الاختبار في هذه الصفحة المنطق نفسه.
ماذا يعني * و$ في المسار؟
تطابق النجمة أي تسلسل من الأحرف، فيطابق /*.pdf كل ملفات PDF. وتحدّد علامة الدولار نهاية العنوان، فيطابق /*.pdf$ العناوين التي تنتهي بـ .pdf تمامًا.
هل أضيف خريطة موقعي إلى robots.txt؟
نعم، فهي طريقة بسيطة لمساعدة كل محركات البحث على العثور عليها. استخدم العنوان الكامل، بما في ذلك https://. ويمكنك ذكر عدة خرائط موقع.