Robots.txt जनरेटर
सर्च इंजन और दूसरे बॉट को बताएँ कि वे आपकी साइट के कौन-से हिस्से देख सकते हैं।
इसी डिवाइस पर सुरक्षित
आपके ब्राउज़र में चलता है। कुछ भी अपलोड नहीं होता।
सुरक्षित
नियम
हर लाइन में एक पाथ, / से शुरू। वाइल्डकार्ड के लिए * और एड्रेस के अंत के लिए $ इस्तेमाल करें।
वैकल्पिक। Bing और कुछ दूसरे बॉट इसे मानते हैं; Google इसे अनदेखा करता है।
खास क्रॉलर
हर लाइन में एक पूरा एड्रेस, जैसे https://example.com/sitemap.xml।
आपकी robots.txt
जाँचने लायक बातें
एड्रेस टेस्ट करें
इस क्रॉलर के लिए पूरी साइट ब्लॉक करने के लिए खाली छोड़ें।
यह कैसे काम करता है
-
सामान्य नियम चुनें
सब कुछ अनुमति दें, सब कुछ ब्लॉक करें, या वे पाथ लिखें जिन्हें क्रॉलर छोड़ दें। प्रीसेट से शुरुआत आसान होती है।
-
AI बॉट, क्रॉलर और साइटमैप जोड़ें
एक क्लिक में AI ट्रेनिंग क्रॉलर ब्लॉक करें, खास बॉट के लिए नियम जोड़ें, और अपने साइटमैप लिखें।
-
टेस्ट करें और पब्लिश करें
कुछ एड्रेस टेस्ट करें, फिर फ़ाइल डाउनलोड करके अपनी साइट के रूट में रखें: example.com/robots.txt।
अक्सर पूछे जाने वाले सवाल
robots.txt फ़ाइल कहाँ रखूँ?
अपने डोमेन के रूट में, ताकि यह https://your-site.com/robots.txt पर मिले। हर सबडोमेन को अपनी अलग फ़ाइल चाहिए। क्रॉलर इसे और कहीं नहीं ढूँढते।
क्या robots.txt किसी पेज को Google से छिपाती है?
नहीं। यह क्रॉलर से पेज पर न आने को कहती है, लेकिन अगर दूसरी साइटें उस पेज को लिंक करती हैं तो वह फिर भी नतीजों में दिख सकता है। किसी पेज को Google से बाहर रखने के लिए उसे क्रॉल होने दें और noindex मेटा टैग जोड़ें, या उसे पासवर्ड से सुरक्षित करें।
GPTBot जैसे AI क्रॉलर कैसे ब्लॉक करें?
“AI ट्रेनिंग क्रॉलर ब्लॉक करें” पर टिक करें। फिर फ़ाइल GPTBot, ClaudeBot, Google-Extended और दूसरे ट्रेनिंग बॉट को आपकी पूरी साइट से दूर रहने को कहती है। नियम मानने वाले बॉट इसका पालन करते हैं, लेकिन robots.txt एक गुज़ारिश है, ताला नहीं।
जब Allow और Disallow नियम टकराएँ तो क्या होता है?
Google और ज़्यादातर नए क्रॉलर सबसे खास नियम लागू करते हैं, यानी जिसका मेल खाता पाथ सबसे लंबा हो। अगर दो नियम बराबर लंबे हों, तो Allow जीतता है। इस पेज का टेस्टर भी यही तरीका अपनाता है।
पाथ में * और $ का क्या मतलब है?
एस्टरिस्क कैरेक्टर के किसी भी क्रम से मेल खाता है, इसलिए /*.pdf हर PDF से मेल खाता है। डॉलर का निशान एड्रेस का अंत बताता है, इसलिए /*.pdf$ उन एड्रेस से मेल खाता है जो ठीक .pdf पर खत्म होते हैं।
क्या मुझे अपना साइटमैप robots.txt में जोड़ना चाहिए?
हाँ, यह हर सर्च इंजन को उसे ढूँढने में मदद करने का आसान तरीका है। https:// समेत पूरा एड्रेस इस्तेमाल करें। आप कई साइटमैप लिख सकते हैं।