Robots.txt जनरेटर
पहले तीन आपके समूहों की जगह ले लेते हैं। AI बटन आम तौर पर प्रकाशित AI क्रॉलर नामों वाला एक समूह जोड़ता है और बाक़ी रहने देता है; सूची समय के साथ बदलती है, बीच-बीच में जांचें।
मौजूदा robots.txt इंपोर्ट करें
* का अर्थ है सभी क्रॉलर। कई नामों को एक जैसे नियम देने के लिए उन्हें कॉमा से अलग करें।
पाथ / से शुरू होते हैं और बड़े-छोटे अक्षरों में फ़र्क़ करते हैं। * कोई भी अक्षर-क्रम है और $ URL का अंत, इसलिए /*.pdf$ हर PDF को ब्लॉक करता है। Crawl-delay (अनुरोधों के बीच सेकंड) को Google अनदेखा करता है; कुछ दूसरे सर्च इंजन इसे मानते हैं।
कोई समस्या नहीं मिली।
इसे robots.txt नाम से होस्ट की रूट में अपलोड करें, जैसे https://example.com/robots.txt। हर सबडोमेन को अपनी अलग फ़ाइल चाहिए।
URL जांचें
ऊपर की robots.txt को उसी तरह जांचता है जैसे Google पढ़ता है। क्रॉलर का ठीक-ठीक नाम लिखने वाला समूह User-agent: * से ऊपर रहता है, एक ही नाम के समूह जुड़ जाते हैं, और जिस क्रॉलर का अपना समूह नहीं, वह मिलते-जुलते नाम पर नहीं बल्कि * पर जाता है (Googlebot-Image, Googlebot समूह का उपयोग नहीं करता)। समूह के भीतर सबसे लंबा मेल खाने वाला नियम फ़ैसला करता है और बराबरी पर Allow जीतता है। पूरे URL से केवल पाथ और क्वेरी ली जाती है।
robots.txt एक सार्वजनिक अनुरोध है, ताला नहीं। इसे कोई भी पढ़ सकता है और ग़लत इरादे वाले बॉट इसे अनदेखा करते हैं, इसलिए गुप्त पाथ कभी यहां न लिखें। यह पेजों को सर्च नतीजों से भी नहीं हटाता: ब्लॉक किया गया URL लिंक के ज़रिए फिर भी इंडेक्स हो सकता है। पेज को सर्च से बाहर रखने के लिए noindex टैग लगाएं और पेज को क्रॉल होने दें; सुरक्षा के लिए पासवर्ड लगाएं।
robots.txt कैसे काम करता है
किसी साइट को क्रॉल करने से पहले नियम मानने वाले बॉट /robots.txt पढ़ते हैं और अपने नाम वाला समूह खोजते हैं; न मिले तो User-agent: * मानते हैं। समूह के अंदर Disallow बताता है कि कौन से पाथ छोड़ने हैं और Allow उनमें अपवाद बनाता है। यह फ़ाइल इंडेक्सिंग नहीं, क्रॉलिंग नियंत्रित करती है, और केवल उन्हीं बॉट पर लागू होती है जो इसे मानना चुनते हैं।
कैसे इस्तेमाल करें
- 1 कोई टेम्पलेट चुनें या उदाहरण बदलें: हर क्रॉलर के लिए एक समूह (या सभी के लिए *), जिसमें Disallow और Allow पंक्तियां हों।
- 2 अपना sitemap पता जोड़ें और जांच देखें: शुरुआती स्लैश के बिना पाथ या https:// के बिना sitemap तुरंत चिह्नित हो जाता है।
- 3 टेक्स्ट कॉपी करें या robots.txt डाउनलोड करके अपनी साइट की रूट में अपलोड करें, फिर आपकीसाइट/robots.txt खोलकर देखें कि वह खुलता है।
कौन सा नियम लागू होता है
बड़े सर्च इंजन नियमों को ऊपर से नीचे नहीं पढ़ते। हर URL के लिए वे सबसे सटीक मेल, यानी सबसे लंबा पाथ, लेते हैं; Allow और Disallow बराबर लंबे हों तो Allow जीतता है। इसलिए Disallow: /admin/ के साथ Allow: /admin/help/ किसी भी क्रम में लिखें, हेल्प पेज क्रॉल होते रहेंगे। साथ ही, एक क्रॉलर केवल एक समूह मानता है: Googlebot समूह हो तो Googlebot * समूह को पूरी तरह अनदेखा करता है।
ब्लॉक करना noindex के बराबर नहीं
robots.txt में ब्लॉक किया गया URL फिर भी सर्च नतीजों में दिख सकता है, अक्सर बिना विवरण के सिर्फ़ लिंक के रूप में, क्योंकि दूसरे पेज उससे लिंक करते हैं। इससे भी बुरा: अगर पेज पर noindex टैग लगाकर उसे ब्लॉक भी कर दें, तो क्रॉलर पेज कभी लाता ही नहीं और टैग देख ही नहीं पाता। पेज को सर्च से हटाने के लिए क्रॉलिंग की अनुमति दें और noindex लगाएं; ब्लॉक तभी करें जब वह नतीजों से हट जाए।
ग़लतियां जो ज़रूरत से ज़्यादा ब्लॉक कर देती हैं
नियम प्रीफ़िक्स की तरह काम करते हैं: Disallow: /blog, /blog-tips/ और /blogger.html को भी ब्लॉक करता है; फ़ोल्डर से मतलब हो तो /blog/ लिखें। अकेला Disallow: / पूरी साइट ब्लॉक करता है, जो टेस्ट सर्वर से छूटी आम ग़लती है। CSS और JavaScript फ़ोल्डर ब्लॉक करने से सर्च इंजन आपके पेज ठीक से रेंडर नहीं कर पाते। और पाथ में बड़े-छोटे अक्षर मायने रखते हैं: /Admin/, /admin/ को कवर नहीं करता। किसी ख़ास URL के साथ क्या होगा, यह देखने के लिए उसे आउटपुट के नीचे वाले टेस्ट बॉक्स में डालें: वह फ़ैसला करने वाला समूह और नियम बताता है।
AI क्रॉलर और कंट्रोल टोकन
कई AI कंपनियां ट्रेनिंग डेटा इकट्ठा करने वाले अपने user-agent नाम प्रकाशित करती हैं और मना करने का तरीक़ा robots.txt बताती हैं। कुछ नाम अलग क्रॉलर नहीं, बल्कि कंट्रोल टोकन हैं: Google-Extended और Applebot-Extended ख़ुद कोई पेज नहीं लाते; वे सिर्फ़ यह तय करते हैं कि सर्च क्रॉलर की जुटाई सामग्री AI मॉडल की ट्रेनिंग में (Google के मामले में Gemini के जवाबों के स्रोत के रूप में भी) इस्तेमाल हो सकती है या नहीं। इन्हें ब्लॉक करने से रैंकिंग पर असर नहीं पड़ता, पर आपके पेज सर्च के अंदर की AI सुविधाओं से भी बाहर नहीं होते: Google के AI Overviews और AI Mode, Googlebot से चलते हैं और इन्हें Google-Extended से नहीं, nosnippet या noindex से नियंत्रित किया जाता है। नाम बदलते हैं और नए जुड़ते हैं, इसलिए टेम्पलेट को शुरुआत मानें और हर प्रदाता के ताज़ा दस्तावेज़ देखें।