مولّد ملف Robots.txt

أخبر محركات البحث والروبوتات الأخرى بالأجزاء التي يمكنها زيارتها من موقعك.

محفوظ على هذا الجهاز

يعمل داخل متصفحك. لا يُرفع أي شيء.

محفوظ

القواعد

كل الزواحف

اختياري. يلتزم به Bing وبعض الروبوتات الأخرى؛ ويتجاهله Google.

روبوتات الذكاء الاصطناعي

GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وغيرها مما يجمع المحتوى لتدريب نماذج الذكاء الاصطناعي. لا يؤثر في بحث Google.

OAI-SearchBot وChatGPT-User وClaude-SearchBot وPerplexityBot وغيرها. وقد تتوقف صفحاتك عندئذٍ عن الظهور في إجابات الذكاء الاصطناعي.

زواحف محددة

    عنوان كامل واحد في كل سطر، مثلًا https://example.com/sitemap.xml.

    ملف robots.txt الخاص بك

    
                    

    نقاط للتحقق

      اختبار عنوان

      طريقة الاستخدام

      1. اختر القاعدة العامة

        اسمح بكل شيء، أو احظر كل شيء، أو اذكر المسارات التي يجب أن تتجاهلها الزواحف. وتساعدك القوالب الجاهزة على البدء.

      2. أضف روبوتات الذكاء الاصطناعي والزواحف وخرائط الموقع

        احظر زواحف تدريب الذكاء الاصطناعي بنقرة واحدة، وأضف قواعد لروبوتات محددة، واذكر خرائط موقعك.

      3. اختبر وانشر

        اختبر بعض العناوين، ثم نزّل الملف وضعه في جذر موقعك: example.com/robots.txt.

      الأسئلة الشائعة

      أين أضع ملف robots.txt؟

      في جذر نطاقك، ليكون متاحًا على https://your-site.com/robots.txt. ويحتاج كل نطاق فرعي إلى ملفه الخاص. ولا تبحث عنه الزواحف في أي مكان آخر.

      هل يُخفي robots.txt صفحة من Google؟

      لا. فهو يطلب من الزواحف عدم زيارة الصفحة، لكن الصفحة قد تظهر في النتائج إذا أشارت إليها مواقع أخرى. ولإبقاء صفحة خارج Google، اسمح بالزحف إليها وأضف وسم noindex، أو احمها بكلمة مرور.

      كيف أحظر زواحف الذكاء الاصطناعي مثل GPTBot؟

      فعّل «حظر زواحف تدريب الذكاء الاصطناعي». عندها يطلب الملف من GPTBot وClaudeBot وGoogle-Extended وغيرها من روبوتات التدريب الابتعاد عن موقعك كله. تحترم الروبوتات المنضبطة ذلك، لكن robots.txt طلب وليس قفلًا.

      ماذا يحدث عندما تتعارض قواعد Allow وDisallow؟

      يطبّق Google ومعظم الزواحف الحديثة القاعدة الأكثر تحديدًا، أي ذات المسار المطابق الأطول. وعندما تتساوى قاعدتان في الطول، تفوز Allow. وتتبع أداة الاختبار في هذه الصفحة المنطق نفسه.

      ماذا يعني * و$ في المسار؟

      تطابق النجمة أي تسلسل من الأحرف، فيطابق /*.pdf كل ملفات PDF. وتحدّد علامة الدولار نهاية العنوان، فيطابق /*.pdf$ العناوين التي تنتهي بـ .pdf تمامًا.

      هل أضيف خريطة موقعي إلى robots.txt؟

      نعم، فهي طريقة بسيطة لمساعدة كل محركات البحث على العثور عليها. استخدم العنوان الكامل، بما في ذلك https://. ويمكنك ذكر عدة خرائط موقع.

      تثبيت One For All على حاسوبك

      بعد ذلك يُفتح One For All في نافذة خاصة به، مثل أي تطبيق، مباشرةً من سطح المكتب أو الشاشة الرئيسية. لا حاجة إلى تنزيل أي شيء من متجر تطبيقات، وتظل ملفاتك على جهازك.

      1. انقر على أيقونة التثبيت في طرف شريط العنوان، أو افتح قائمة المتصفح (⋮).
      2. اختر «تثبيت One For All» أو «تثبيت الصفحة كتطبيق»: سيُضاف اختصار إلى سطح المكتب وإلى تطبيقاتك.

      هل تريد تنزيل محرّك هذه الأداة؟

      تعمل هذه الأداة بالكامل داخل متصفحك. ولهذا تحتاج إلى تنزيل العناصر أدناه من One For All مرة واحدة فقط. بعد ذلك تُحفظ على هذا الجهاز، فتبدأ الأداة فورًا في المرة القادمة.

      لا تُرسَل ملفاتك إلى أي مكان أبدًا.