Robots.txt जनरेटर - Allow, Disallow और Sitemap नियम बनाएं

उपकरण / SEO टूल्स / Robots.txt जनरेटर

Robots.txt जनरेटर

तैयार टेम्पलेट

पहले तीन आपके समूहों की जगह ले लेते हैं। AI बटन आम तौर पर प्रकाशित AI क्रॉलर नामों वाला एक समूह जोड़ता है और बाक़ी रहने देता है; सूची समय के साथ बदलती है, बीच-बीच में जांचें।

मौजूदा robots.txt इंपोर्ट करें

पाथ / से शुरू होते हैं और बड़े-छोटे अक्षरों में फ़र्क़ करते हैं। * कोई भी अक्षर-क्रम है और $ URL का अंत, इसलिए /*.pdf$ हर PDF को ब्लॉक करता है। Crawl-delay (अनुरोधों के बीच सेकंड) को Google अनदेखा करता है; कुछ दूसरे सर्च इंजन इसे मानते हैं।

जांच

कोई समस्या नहीं मिली।

robots.txt

            

इसे robots.txt नाम से होस्ट की रूट में अपलोड करें, जैसे https://example.com/robots.txt। हर सबडोमेन को अपनी अलग फ़ाइल चाहिए।

URL जांचें

    ऊपर की robots.txt को उसी तरह जांचता है जैसे Google पढ़ता है। क्रॉलर का ठीक-ठीक नाम लिखने वाला समूह User-agent: * से ऊपर रहता है, एक ही नाम के समूह जुड़ जाते हैं, और जिस क्रॉलर का अपना समूह नहीं, वह मिलते-जुलते नाम पर नहीं बल्कि * पर जाता है (Googlebot-Image, Googlebot समूह का उपयोग नहीं करता)। समूह के भीतर सबसे लंबा मेल खाने वाला नियम फ़ैसला करता है और बराबरी पर Allow जीतता है। पूरे URL से केवल पाथ और क्वेरी ली जाती है।

    robots.txt एक सार्वजनिक अनुरोध है, ताला नहीं। इसे कोई भी पढ़ सकता है और ग़लत इरादे वाले बॉट इसे अनदेखा करते हैं, इसलिए गुप्त पाथ कभी यहां न लिखें। यह पेजों को सर्च नतीजों से भी नहीं हटाता: ब्लॉक किया गया URL लिंक के ज़रिए फिर भी इंडेक्स हो सकता है। पेज को सर्च से बाहर रखने के लिए noindex टैग लगाएं और पेज को क्रॉल होने दें; सुरक्षा के लिए पासवर्ड लगाएं।

    robots.txt कैसे काम करता है

    किसी साइट को क्रॉल करने से पहले नियम मानने वाले बॉट /robots.txt पढ़ते हैं और अपने नाम वाला समूह खोजते हैं; न मिले तो User-agent: * मानते हैं। समूह के अंदर Disallow बताता है कि कौन से पाथ छोड़ने हैं और Allow उनमें अपवाद बनाता है। यह फ़ाइल इंडेक्सिंग नहीं, क्रॉलिंग नियंत्रित करती है, और केवल उन्हीं बॉट पर लागू होती है जो इसे मानना चुनते हैं।

    कैसे इस्तेमाल करें

    1. 1 कोई टेम्पलेट चुनें या उदाहरण बदलें: हर क्रॉलर के लिए एक समूह (या सभी के लिए *), जिसमें Disallow और Allow पंक्तियां हों।
    2. 2 अपना sitemap पता जोड़ें और जांच देखें: शुरुआती स्लैश के बिना पाथ या https:// के बिना sitemap तुरंत चिह्नित हो जाता है।
    3. 3 टेक्स्ट कॉपी करें या robots.txt डाउनलोड करके अपनी साइट की रूट में अपलोड करें, फिर आपकीसाइट/robots.txt खोलकर देखें कि वह खुलता है।

    कौन सा नियम लागू होता है

    बड़े सर्च इंजन नियमों को ऊपर से नीचे नहीं पढ़ते। हर URL के लिए वे सबसे सटीक मेल, यानी सबसे लंबा पाथ, लेते हैं; Allow और Disallow बराबर लंबे हों तो Allow जीतता है। इसलिए Disallow: /admin/ के साथ Allow: /admin/help/ किसी भी क्रम में लिखें, हेल्प पेज क्रॉल होते रहेंगे। साथ ही, एक क्रॉलर केवल एक समूह मानता है: Googlebot समूह हो तो Googlebot * समूह को पूरी तरह अनदेखा करता है।

    ब्लॉक करना noindex के बराबर नहीं

    robots.txt में ब्लॉक किया गया URL फिर भी सर्च नतीजों में दिख सकता है, अक्सर बिना विवरण के सिर्फ़ लिंक के रूप में, क्योंकि दूसरे पेज उससे लिंक करते हैं। इससे भी बुरा: अगर पेज पर noindex टैग लगाकर उसे ब्लॉक भी कर दें, तो क्रॉलर पेज कभी लाता ही नहीं और टैग देख ही नहीं पाता। पेज को सर्च से हटाने के लिए क्रॉलिंग की अनुमति दें और noindex लगाएं; ब्लॉक तभी करें जब वह नतीजों से हट जाए।

    मेटा टैग जेनरेटर →

    ग़लतियां जो ज़रूरत से ज़्यादा ब्लॉक कर देती हैं

    नियम प्रीफ़िक्स की तरह काम करते हैं: Disallow: /blog, /blog-tips/ और /blogger.html को भी ब्लॉक करता है; फ़ोल्डर से मतलब हो तो /blog/ लिखें। अकेला Disallow: / पूरी साइट ब्लॉक करता है, जो टेस्ट सर्वर से छूटी आम ग़लती है। CSS और JavaScript फ़ोल्डर ब्लॉक करने से सर्च इंजन आपके पेज ठीक से रेंडर नहीं कर पाते। और पाथ में बड़े-छोटे अक्षर मायने रखते हैं: /Admin/, /admin/ को कवर नहीं करता। किसी ख़ास URL के साथ क्या होगा, यह देखने के लिए उसे आउटपुट के नीचे वाले टेस्ट बॉक्स में डालें: वह फ़ैसला करने वाला समूह और नियम बताता है।

    AI क्रॉलर और कंट्रोल टोकन

    कई AI कंपनियां ट्रेनिंग डेटा इकट्ठा करने वाले अपने user-agent नाम प्रकाशित करती हैं और मना करने का तरीक़ा robots.txt बताती हैं। कुछ नाम अलग क्रॉलर नहीं, बल्कि कंट्रोल टोकन हैं: Google-Extended और Applebot-Extended ख़ुद कोई पेज नहीं लाते; वे सिर्फ़ यह तय करते हैं कि सर्च क्रॉलर की जुटाई सामग्री AI मॉडल की ट्रेनिंग में (Google के मामले में Gemini के जवाबों के स्रोत के रूप में भी) इस्तेमाल हो सकती है या नहीं। इन्हें ब्लॉक करने से रैंकिंग पर असर नहीं पड़ता, पर आपके पेज सर्च के अंदर की AI सुविधाओं से भी बाहर नहीं होते: Google के AI Overviews और AI Mode, Googlebot से चलते हैं और इन्हें Google-Extended से नहीं, nosnippet या noindex से नियंत्रित किया जाता है। नाम बदलते हैं और नए जुड़ते हैं, इसलिए टेम्पलेट को शुरुआत मानें और हर प्रदाता के ताज़ा दस्तावेज़ देखें।

    Robots.txt से जुड़े सवाल

    नहीं। यह केवल क्रॉलिंग रोकता है। अगर दूसरी साइटें उस URL से लिंक करती हैं तो वह बिना विवरण के इंडेक्स में रह सकता है। हटाने के लिए पेज को noindex मेटा टैग या X-Robots-Tag हेडर के साथ क्रॉल होने दें, या पेज हटा दें या लॉगिन के पीछे रखें।
    नया
    UTM बिल्डर कुछ ही सेकंड में UTM टैग वाले कैंपेन लिंक बनाएँ। मौजूदा पैरामीटर और #एंकर बने रहते हैं, मान सही एन्कोड होते हैं, और बड़े अक्षरों व स्पेस पर चेतावनी मिलती है।
    आज लोकप्रिय
    कीवर्ड डेंसिटी चेकर मुफ़्त कीवर्ड डेंसिटी टूल: टेक्स्ट या URL डालें और देखें कौन सा शब्द या वाक्यांश कितनी बार आया, प्रतिशत के साथ।

    अन्य SEO टूल

    कीवर्ड डेंसिटी चेकर मुफ़्त कीवर्ड डेंसिटी टूल: टेक्स्ट या URL डालें और देखें कौन सा शब्द या वाक्यांश कितनी बार आया, प्रतिशत के साथ।
    स्लग जेनरेटर किसी भी शीर्षक को साफ़ URL स्लग में बदलें। जर्मन ü बनता है ue, तुर्की ü बनता है u, सिरिलिक का लिप्यंतरण होता है — भाषा आप चुनते हैं।
    मेटा टैग जेनरेटर शीर्षक, विवरण, URL और इमेज भरें और HTML मेटा टैग, Open Graph और Twitter Card मार्कअप बनाएँ; प्रकाशित करने से पहले देखें कि पेज Google परिणामों, Facebook और X पर कैसा दिखेगा।
    SERP स्निपेट प्रीव्यू देखें कि आपका टाइटल और मेटा डिस्क्रिप्शन डेस्कटॉप और मोबाइल के सर्च रिज़ल्ट में कैसा दिखता है। पिक्सेल के हिसाब से कटौती, अक्षर और पिक्सेल काउंटर।
    UTM बिल्डर कुछ ही सेकंड में UTM टैग वाले कैंपेन लिंक बनाएँ। मौजूदा पैरामीटर और #एंकर बने रहते हैं, मान सही एन्कोड होते हैं, और बड़े अक्षरों व स्पेस पर चेतावनी मिलती है।

    अन्य उपकरण जो आपको पसंद आ सकते हैं

    Word से PDF Word को मुफ़्त में PDF बनाएँ: DOC, DOCX, ODT या RTF फ़ाइल अपलोड करें और सेकंडों में सही फ़ॉर्मेट वाला PDF डाउनलोड करें।
    PDF से Word PDF को मुफ़्त में Word में बदलें: PDF अपलोड करें और सेकंडों में एडिट करने योग्य DOCX डाउनलोड करें - बिना रजिस्ट्रेशन, बिना वॉटरमार्क।
    MD5 जनरेटर मुफ़्त MD5 हैश जनरेटर: किसी भी टेक्स्ट या फ़ाइल को ब्राउज़र में ही MD5 चेकसम में बदलें - फ़ाइल जाँच और तुलना के लिए उपयोगी।
    Base64 एन्कोडर और डिकोडर मुफ़्त Base64 एनकोडर और डिकोडर: टेक्स्ट या फ़ाइल को Base64 में बदलें और वापस भी - सब ब्राउज़र में, कुछ भी अपलोड नहीं होता।
    वर्ड काउंटर मुफ़्त शब्द गणक: टेक्स्ट चिपकाएँ और शब्द, अक्षर, वाक्य व अनुच्छेद गिनें, साथ ही पढ़ने का अनुमानित समय देखें। कुछ भी अपलोड नहीं होता।