मुफ़्त · SEO
robots.txt जनरेटर.
robots.txt के क्रॉल निर्देश और वैकल्पिक साइटमैप संदर्भ बनाएँ।
robots.txt फ़ाइल कैसे बनाएँ
- सभी क्रॉलर के लिए «User agent» में
*रहने दें, याGooglebotजैसा एक नाम लिखें। - टेक्स्ट बॉक्स में ब्लॉक करने वाले पाथ लिखें, हर लाइन में एक, जो
/से शुरू हो, जैसे/private/या/cart/। सब कुछ अनुमति देने के लिए इसे खाली छोड़ें। - «Disallow listed paths» या «Allow listed paths» चुनें, «Sitemap URL (optional)» जोड़ें और «AI crawlers» में एक विकल्प चुनें।
- परिणाम कॉपी या डाउनलोड करें और उसे
robots.txtनाम से डोमेन की रूट पर अपलोड करें, जैसेhttps://example.com/robots.txt।
/private/ और साइटमैप पते के साथ फ़ाइल में User-agent: *, Disallow: /private/ और Sitemap: https://example.com/sitemap.xml होता है। कोई पाथ न हो तो टूल खाली Disallow: लाइन लिखता है, जो पूरी साइट की अनुमति देती है। पाथ URL की शुरुआत से मिलाए जाते हैं, इसलिए /private/ में /private/files/report.pdf भी शामिल है।
AI क्रॉलर, और robots.txt क्या नहीं कर सकता
«Block AI training crawlers (keep AI search)» GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot, Bytespider और Meta-ExternalAgent के लिए नियम जोड़ता है और AI सर्च बॉट को नहीं छूता। «Block all AI crawlers» इनके अलावा OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User और Amazonbot को भी रोकता है, जिससे आपके पेज AI जवाबों से हट सकते हैं। हर बॉट को अलग से नियंत्रित करने के लिए AI robots.txt जनरेटर का उपयोग करें।
robots.txt क्रॉलिंग को नियंत्रित करता है, इंडेक्सिंग या गोपनीयता को नहीं। अगर दूसरी साइटें लिंक करें तो ब्लॉक किया गया पेज भी खोज परिणामों में दिख सकता है, और कोई भी यह फ़ाइल पढ़ सकता है, इसलिए इसमें गुप्त फ़ोल्डर न लिखें। किसी पेज को Google से बाहर रखने के लिए उसे क्रॉल होने दें और noindex मेटा टैग जोड़ें, जैसे मेटा टैग जनरेटर से। जिस साइटमैप का उल्लेख करते हैं उसे बनाने के लिए XML साइटमैप जनरेटर का उपयोग करें।
सीमाएं और समर्थित फ़ॉर्मैट
आपका डेटा आपके उपकरण पर संसाधित होता है।
अंग्रेज़ी में तकनीकी जानकारी
robots.txt controls crawling, not privacy or guaranteed deindexing.
Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.
Allow crawling and add a sitemap URL.
अक्सर पूछे जाने वाले प्रश्न
robots.txt फ़ाइल कहाँ रखें?
डोमेन की रूट पर, https://example.com/robots.txt के रूप में। क्रॉलर इसे सबफ़ोल्डर में नहीं ढूँढते, और हर सबडोमेन को अपनी फ़ाइल चाहिए।
क्या Disallow किसी पेज को Google से हटा देता है?
नहीं। यह क्रॉलिंग रोकता है, पर ब्लॉक किया गया URL लिंक के ज़रिए इंडेक्स हो सकता है। परिणामों से हटाने के लिए क्रॉल हो सकने वाले पेज पर noindex टैग लगाएँ।
क्या AI क्रॉलर robots.txt मानते हैं?
बड़ी AI कंपनियाँ कहती हैं कि वे इसे मानती हैं, लेकिन यह स्वैच्छिक है और कुछ क्रॉलर इसे नज़रअंदाज़ करते बताए गए हैं। बनाई गई फ़ाइल यह बात एक टिप्पणी में लिखती है।