روش استفاده از تولید فایل robots.txt
- یک پیش‌تنظیم انتخاب کنید یا مسیرها را دستی بنویسید.
- نشانی نقشهٔ سایت را وارد کنید.
- فایل را دانلود کنید و در ریشهٔ هاست (کنار index) بارگذاری کنید.
تولید فایل robots.txt
رفتار ربات‌های جستجو را مشخص کنید و فایل آماده را دانلود یا کپی کنید.
دربارهٔ تولید فایل robots.txt
فایل robots.txt در ریشهٔ سایت قرار می‌گیرد و به خزنده‌ها می‌گوید کدام بخش‌ها را بخوانند و کدام را نخوانند. استفادهٔ درست از آن بودجهٔ خزش را صرف صفحات مهم می‌کند و جلوی ایندکس‌شدن بخش‌های بی‌ارزش مانند پنل مدیریت، نتایج جستجوی داخلی و سبد خرید را می‌گیرد.
توجه کنید که robots.txt مانع دسترسی افراد نمی‌شود و ابزار امنیتی نیست؛ برای جلوگیری از ایندکس‌شدن یک صفحه از تگ noindex استفاده کنید. فایل را حتماً در نشانی /robots.txt همان دامنه بارگذاری کنید.
پرسش‌های متداول
robots.txt را کجا باید قرار داد؟
در ریشهٔ دامنه، به‌طوری که در نشانی https://example.com/robots.txt باز شود.
آیا Disallow صفحه را از گوگل حذف می‌کند؟
نه؛ تنها خزش را محدود می‌کند. برای حذف از نتایج از noindex یا ابزار حذف نشانی در سرچ کنسول استفاده کنید.
Crawl-delay را گوگل رعایت می‌کند؟
گوگل این دستور را نادیده می‌گیرد؛ اما برخی موتورهای جستجوی دیگر مانند Bing آن را می‌پذیرند.
آخرین به‌روزرسانی این صفحه: