مجاني · SEO
إنشاء robots.txt.
أنشئ توجيهات الزحف في ملف robots.txt مع إشارة اختيارية إلى خريطة الموقع.
كيف تنشئ ملف robots.txt
- اترك
*في «User agent» لمخاطبة كل الزواحف، أو اكتب اسمًا واحدًا مثلGooglebot. - في مربع النص اكتب المسارات التي تريد حظرها، مسارًا في كل سطر يبدأ بـ
/، مثل/private/أو/cart/. اتركه فارغًا للسماح بكل شيء. - اختر «Disallow listed paths» أو «Allow listed paths»، وأضف «Sitemap URL (optional)»، واختر خيارًا في «AI crawlers».
- انسخ النتيجة أو نزّلها وارفعها باسم
robots.txtفي جذر النطاق، مثلhttps://example.com/robots.txt.
مع /private/ وعنوان خريطة الموقع يحتوي الملف على User-agent: * وDisallow: /private/ وSitemap: https://example.com/sitemap.xml. وبدون أي مسار تكتب الأداة سطر Disallow: فارغًا، وهو يسمح بالموقع كله. تُطابَق المسارات من بداية الرابط، لذلك يشمل /private/ أيضًا /private/files/report.pdf.
زواحف الذكاء الاصطناعي وما لا يستطيعه robots.txt
يضيف «Block AI training crawlers (keep AI search)» قواعد لـ GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وBytespider وMeta-ExternalAgent ويترك زواحف البحث بالذكاء الاصطناعي. أما «Block all AI crawlers» فيحظر أيضًا OAI-SearchBot وChatGPT-User وClaude-SearchBot وClaude-User وPerplexityBot وPerplexity-User وAmazonbot، وقد يزيل ذلك صفحاتك من إجابات الذكاء الاصطناعي. لتحكم أدق في كل زاحف استخدم مولّد robots.txt للذكاء الاصطناعي.
يتحكم robots.txt في الزحف لا في الفهرسة ولا في الخصوصية. قد تظهر صفحة محظورة في النتائج إذا ربطت إليها مواقع أخرى، ويمكن لأي شخص قراءة الملف، فلا تذكر فيه مجلدات سرية. لإخراج صفحة من Google اسمح بالزحف إليها وأضف وسم noindex، مثلًا عبر مولّد الوسوم الوصفية. ولإنشاء خريطة الموقع المشار إليها استخدم مولّد خريطة موقع XML.
الحدود والصيغ المدعومة
تُعالج بياناتك على جهازك.
ملاحظات تقنية بالإنجليزية
robots.txt controls crawling, not privacy or guaranteed deindexing.
Generate crawl directives and an optional sitemap reference. robots.txt controls crawling, not privacy or guaranteed deindexing. Inputs stay on your device. Review the preview or output before using it; refresh the page to clear the current working session.
Allow crawling and add a sitemap URL.
أسئلة شائعة
أين أضع ملف robots.txt؟
في جذر النطاق بالشكل https://example.com/robots.txt. لا تبحث الزواحف عنه في المجلدات الفرعية، ويحتاج كل نطاق فرعي إلى ملفه الخاص.
هل يزيل Disallow الصفحة من Google؟
لا. هو يمنع الزحف، لكن قد يُفهرس الرابط المحظور من خلال الروابط. استخدم وسم noindex في صفحة يمكن الزحف إليها لإزالتها من النتائج.
هل تلتزم زواحف الذكاء الاصطناعي بملف robots.txt؟
تقول شركات الذكاء الاصطناعي الكبرى إنها تلتزم به، لكن الالتزام طوعي وأُفيد بأن بعض الزواحف تتجاهله. يذكر الملف الناتج ذلك في تعليق.