نرخ خزیدن Googlebot را کاهش دهید
گوگل الگوریتم های پیچیده ای برای تعیین نرخ بهینه خزیدن برای یک سایت دارد. هدف ما این است که در هر بازدید تا جایی که می توانیم صفحات سایت شما را بخزیم بدون اینکه شما را تحت تأثیر قرار دهیم پهنای باند سرور در برخی موارد، خزیدن گوگل در سایت شما ممکن است باعث بروز مشکلی شود زیرساخت شما را بارگذاری کنید یا در طول یک قطع برق باعث ایجاد هزینه های ناخواسته شود. برای کاهش این، شما ممکن است تصمیم بگیرد که تعداد درخواست های ارائه شده توسط Googlebot را کاهش دهد.
اگر تصمیم به کاهش نرخ خزیدن Googlebot دارید، در اینجا چند گزینه وجود دارد:
- کاهش نرخ خزیدن با کنسول جستجو (توصیه می شود)
- به Google اجازه دهید به طور خودکار میزان خزیدن را کاهش دهد
کاهش نرخ خزیدن با کنسول جستجو (توصیه می شود)
برای کاهش سریع سرعت خزیدن، می توانید نرخ خزیدن Googlebot را در کنسول جستجو تغییر دهید. تغییرات ایجاد شده در این تنظیم معمولاً در عرض چند روز منعکس می شود. برای استفاده از این تنظیمات ابتدا مالکیت سایت خود را تأیید کنید. اطمینان حاصل کنید که از تنظیم نرخ خزیدن روی مقداری که برای سایت شما بسیار پایین است، خودداری کنید. نیاز دارد. بیشتر بدانید بودجه خزیدن برای Googlebot چه معنایی دارد.
اگر تنظیمات نرخ خزیدن برای سایت شما در دسترس نیست، یک درخواست ویژه ارسال کنید برای کاهش سرعت خزیدن شما نمی توانید افزایش نرخ خزیدن را درخواست کنید.
به Google اجازه دهید به طور خودکار میزان خزیدن را کاهش دهد
اگر نیاز به کاهش فوری سرعت خزیدن برای مدت کوتاهی دارید (مثلاً یک زوج
ساعت، یا 1-2 روز)، سپس یک صفحه خطای اطلاعاتی را با 500 برگردانید،
503 یا 429 کد وضعیت پاسخ HTTP به جای همه محتوا.
Googlebot نرخ خزیدن سایت شما را زمانی که با تعداد قابل توجهی از URL ها روبرو می شود کاهش می دهد
با 500، 503، یا 429 کدهای وضعیت پاسخ HTTP (برای
به عنوان مثال، اگر شما
وب سایت شما را غیرفعال کرد).
این تغییر هم در خزیدن نشانی‌های اینترنتی که این خطاها را برمی‌گردانند منعکس می‌شود و هم
وب سایت به طور کلی هنگامی که تعداد این خطاها کاهش یابد، نرخ خزیدن کاهش می یابد
به طور خودکار دوباره شروع به افزایش می کند.