मुफ़्त · SEO
AI क्रॉलर robots.txt जनरेटर.
robots.txt में GPTBot, ClaudeBot, Google-Extended, PerplexityBot, CCBot जैसे AI क्रॉलर को रोकें या अनुमति दें: प्रशिक्षण रोकें, AI खोज रखें या सब रोकें।
Loading the calculator…
इस टूल का उपयोग कैसे करें: AI क्रॉलर robots.txt जनरेटर
डेटा दर्ज करें या फ़ाइल चुनें। विकल्प बदलें, परिणाम बनाएं और कॉपी या डाउनलोड करने से पहले उसकी जांच करें।
सीमाएं और समर्थित फ़ॉर्मैट
आपका डेटा आपके उपकरण पर संसाधित होता है।
अंग्रेज़ी में तकनीकी जानकारी
robots.txt is voluntary; some crawlers ignore it. User-agent names change, so check each company’s documentation. Everything is calculated in your browser; nothing you type is uploaded.
Training crawlers collect pages for model training; search crawlers index pages for AI answers; user agents fetch a page when a person asks. Blocked crawlers get “Disallow: /”; the others follow your normal rules.
The default policy blocks the 7 training crawlers (GPTBot, ClaudeBot, Google-Extended…) and keeps the 7 search and user-request crawlers allowed.