راهنمای مالک سایت بزرگ برای مدیریت بودجه خزیدن شما

نشانک_مرز با مجموعه ها سازماندهی کنید محتوا را بر اساس ترجیحات خود ذخیره و دسته بندی کنید.

این راهنما نحوه بهینه سازی خزیدن گوگل را در موارد بسیار بزرگ و اغلب به روز شده توضیح می دهد سایت های.

اگر سایت شما تعداد زیادی صفحه ندارد که به سرعت تغییر می کنند یا اگر صفحات شما به نظر می رسد برای خزیدن در همان روزی که آنها منتشر می شوند، لازم نیست این راهنما را بخوانید. صرفا - فقط به روز نگه داشتن نقشه سایت و بررسی پوشش شاخص شما به طور منظم کافی است

اگر محتوایی دارید که برای مدتی در دسترس بوده است اما هرگز ایندکس نشده است، این یک مطلب است مشکل متفاوت؛ استفاده کنید ابزار بازرسی URL درعوض متوجه شوید که چرا صفحه شما ایندکس نمی شود.

این راهنما برای چه کسی است

این یک راهنمای پیشرفته است و برای موارد زیر در نظر گرفته شده است:

• سایت های بزرگ (1 میلیون+ صفحه منحصر به فرد) با محتوایی که به طور متوسط ​​اغلب تغییر می کند (یک بار هفته)
• سایت های متوسط ​​یا بزرگتر (بیش از 10000 صفحه منحصر به فرد) با محتوای بسیار سریع در حال تغییر (روزانه)
• سایت هایی با بخش بزرگی از کل URL هایشان که توسط کنسول جستجو به عنوان طبقه بندی شده اند کشف شد - در حال حاضر نمایه نشده است

نظریه عمومی خزیدن

وب فضایی تقریبا بی نهایت است که از توانایی گوگل برای کاوش و فهرست کردن هر URL موجود در نتیجه، محدودیت‌هایی برای مدت زمانی که Googlebot می‌تواند صرف خزیدن کند وجود دارد سایت تک میزان زمان و منابعی که گوگل برای خزیدن یک سایت اختصاص می دهد معمولاً بودجه خزیدن سایت نامیده می شود. توجه داشته باشید که همه چیز خزیده نشد سایت شما الزاماً ایندکس می شود. هر صفحه باید ارزیابی شود، تلفیقی، و برای تعیین اینکه آیا پس از خزیدن آن نمایه می شود یا خیر، ارزیابی می شود.

بودجه خزیدن توسط دو عنصر اصلی تعیین می‌شود: محدودیت ظرفیت خزیدن و خزیدن تقاضا.

محدودیت ظرفیت خزیدن

Googlebot می‌خواهد بدون اینکه سرورهای شما را تحت تأثیر قرار دهد، سایت شما را بخزد. برای جلوگیری از این، Googlebot یک محدودیت ظرفیت خزیدن را محاسبه می کند که حداکثر تعداد اتصالات موازی همزمان که Googlebot می تواند برای خزیدن یک سایت و همچنین زمان استفاده کند تاخیر بین واکشی این برای پوشش تمام محتوای مهم شما محاسبه شده است بدون بارگذاری بیش از حد سرورهای شما.

محدودیت ظرفیت خزیدن بر اساس چند عامل می تواند بالا و پایین شود:

• سلامت خزیدن: اگر سایت برای مدتی سریع پاسخ دهد، این محدودیت افزایش می‌یابد، به این معنی که می توان از اتصالات بیشتری برای خزیدن استفاده کرد. اگر سرعت سایت کاهش یابد یا با سرور پاسخ دهد خطاها، محدودیت کاهش می یابد و Googlebot کمتر می خزد.
• محدود کنید تنظیم شده توسط مالک سایت در کنسول جستجو: مالکان وب سایت می توانند به صورت اختیاری کاهش دهند Googlebot در سایت خود خزیده است. توجه داشته باشید که تعیین محدودیت های بالاتر به صورت خودکار انجام نمی شود خزیدن را افزایش دهید.
• محدودیت‌های خزیدن Google: Google ماشین‌های زیادی دارد، اما بی‌نهایت نیست ماشین آلات ما هنوز باید با منابعی که در اختیار داریم انتخاب کنیم.

تقاضای خزیدن

گوگل معمولاً با توجه به اندازه و به روز رسانی یک سایت، به همان اندازه که لازم است برای خزیدن زمان صرف می کند فرکانس، کیفیت صفحه و ارتباط، در مقایسه با سایت های دیگر.

عواملی که نقش مهمی در تعیین تقاضای خزیدن دارند عبارتند از:

• موجودی درک شده: بدون راهنمایی شما، Googlebot سعی خواهد کرد تمام یا اکثر URL هایی را که در سایت شما می داند بخزد. اگر بسیاری از این آدرس ها هستند تکراری است، یا نمی خواهید به دلایل دیگری خزیده شوند (حذف شده، بی اهمیت، و غیره)، این باعث هدر رفتن زمان خزیدن گوگل در سایت شما می شود. این عاملی است که شما می توانید بیشترین کنترل مثبت را داشته باشید.
• محبوبیت: نشانی‌های اینترنتی که در اینترنت محبوب‌تر هستند معمولا خزیده می‌شوند بیشتر اوقات تا آنها را در فهرست ما تازه نگه داریم.
• کهنگی: سیستم‌های ما می‌خواهند اسناد را به قدر کافی برای انتخاب مجدد بخزند تغییراتی را انجام دهید.

علاوه بر این، رویدادهای سراسر سایت مانند جابجایی سایت ممکن است باعث افزایش تقاضای خزیدن در سایت شود به منظور فهرست مجدد محتوا تحت URL های جدید.

در مجموع

با در نظر گرفتن ظرفیت خزیدن و تقاضای خزیدن، گوگل بودجه خزیدن یک سایت را به عنوان مجموعه ای از URL هایی که Googlebot می تواند و می خواهد بخزد. حتی اگر محدودیت ظرفیت خزیدن نباشد اگر تقاضای خزیدن کم باشد، Googlebot سایت شما را کمتر می‌خزد.

بهترین شیوه ها

برای به حداکثر رساندن راندمان خزیدن خود، این بهترین شیوه ها را دنبال کنید:

• موجودی URL خود را مدیریت کنید: از گزینه مناسب استفاده کنید ابزارهایی که به گوگل می گویند کدام صفحات را بخزد و کدام را خزید. اگر گوگل بیش از حد خرج کند هنگام خزیدن URL هایی که برای ایندکس مناسب نیستند، Googlebot ممکن است تصمیم بگیرد که ارزش وقت گذاشتن برای دیدن بقیه سایت خود را ندارد (یا بودجه خود را برای این کار افزایش دهید).
  • ادغام کنید محتوای تکراری. حذف محتوای تکراری برای تمرکز بر خزیدن روی منحصر به فرد محتوا به جای URL های منحصر به فرد.
  • مسدود کردن خزیدن URL ها با استفاده از robots.txt. برخی از صفحات ممکن است برای کاربران مهم باشد، اما لزوماً نمی خواهید آنها در جستجو ظاهر شوند نتایج. به عنوان مثال، صفحات پیمایش نامتناهی که اطلاعات پیوند داده شده را تکرار می کنند صفحات، یا نسخه‌های مرتب شده متفاوت از همان صفحه. اگر نمی توانید آنها را به عنوان یکپارچه کنید شرح داده شده در گلوله اول، با استفاده از این صفحات بی اهمیت (برای جستجو) را مسدود کنید robots.txt. مسدود کردن URL ها با robots.txt به طور قابل توجهی شانس ایندکس شدن URL ها کاهش می یابد.
  • یک کد وضعیت 404 یا 410 را برای صفحات حذف شده برای همیشه برگردانید. Google یک کد را فراموش نخواهد کرد. URL که آن را می داند، اما یک کد وضعیت 404 یک سیگنال قوی برای خزیدن دوباره آن URL است. با این حال، URL های مسدود شده بخشی از صف خزیدن شما برای مدت طولانی تری باقی می مانند و خواهند بود وقتی بلوک برداشته شد دوباره خزیده شد.
  • خطاهای soft 404 را حذف کنید. soft 404 صفحات همچنان خزیده می شوند و بودجه شما را هدر می دهند. بررسی شاخص گزارش پوشش برای خطاهای soft 404.
  • نقشه های سایت خود را به روز نگه دارید. Google نقشه سایت شما را به طور منظم می خواند، بنابراین مطمئن شوید که تمام محتوایی را که می‌خواهید گوگل بخزد، اضافه کنید. اگر سایت شما شامل محتوای به‌روزرسانی شده است، توصیه می‌کنیم برچسب <lastmod> را نیز اضافه کنید.
  • از زنجیره‌های تغییر مسیر طولانی خودداری کنید، که تأثیر منفی بر خزیدن دارند.
• صفحات خود را برای بارگیری کارآمد کنید. اگر Google بتواند صفحات شما را سریعتر بارگیری و ارائه کند، ممکن است بتوانیم محتوای بیشتری را از آن بخوانیم سایت شما.
• خزیدن سایت خود را کنترل کنید. نظارت کنید که آیا سایت شما در حین خزیدن مشکل در دسترس بودن داشته است یا خیر، و به دنبال راه هایی برای آن باشید خزیدن خود را کارآمدتر کنید.

خزیدن و نمایه سازی سایت خود را نظارت کنید

در اینجا مراحل کلیدی برای نظارت بر نمایه خزیدن سایت شما آمده است:

1. ببینید آیا Googlebot با مشکلات در دسترس بودن در دستگاه شما مواجه است یا خیر سایت.
2. ببینید آیا صفحاتی دارید که خزیده نمی شوند، اما باید. باشد
3. ببینید آیا قسمت‌هایی از سایت شما باید سریع‌تر خزیده شود یا خیر آنها در حال حاضر هستند.
4. راندمان خزیدن سایت خود را بهبود بخشید.
5. خزیدن بیش از حد سایت خود را کنترل کنید.

ببینید آیا Googlebot با مشکلات در دسترس بودن در سایت شما مواجه است یا خیر

بهبود در دسترس بودن سایت شما لزوماً بودجه خزیدن شما را افزایش نمی دهد. گوگل همانطور که قبلاً توضیح داده شد، بر اساس تقاضای خزیدن، بهترین نرخ خزیدن را تعیین می کند. با این حال، مشکلات در دسترس بودن مانع از خزیدن گوگل در سایت شما می شود تا آنجا که ممکن است بخواهد.

تشخیص:

از گزارش آمار خزیدن استفاده کنید برای دیدن سابقه خزیدن Googlebot برای سایت خود. این گزارش زمانی را نشان می دهد که Google با آن مواجه شده است مشکلات در دسترس بودن در سایت شما اگر خطاهای در دسترس بودن یا هشدارهایی برای سایت شما گزارش شده است، نمونه هایی را در نمودارهای در دسترس بودن میزبان جستجو کنید که در آن درخواست‌های Googlebot بیشتر از خط قرمز قرمز، روی نمودار کلیک کنید تا ببینید کدام URL ها ناموفق هستند و سعی کنید با هم ارتباط برقرار کنید کسانی که در سایت شما مشکل دارند.

علاوه بر این، شما همچنین می توانید استفاده کنید ابزار بازرسی URL برای آزمایش چند URL در سایت خود. اگر ابزار برگردد بار میزبان بیش از است اخطارها، به این معنی است که Googlebot نمی تواند به همان اندازه که کشف کرده است، از سایت شما URL بخزد.

درمان:

• اسناد را بخوانید برای گزارش Crawl Stats تا نحوه یافتن و رسیدگی به برخی از مشکلات در دسترس بودن را بیاموزید.
• اگر نمی‌خواهید صفحات خزیده شوند، خزیدن را مسدود کنید. (به مدیریت مراجعه کنید. موجودی شما)
• سرعت بارگیری و رندر صفحه را افزایش دهید. (به بهبود مراجعه کنید. کارایی خزیدن سایت شما)
• ظرفیت سرور خود را افزایش دهید. اگر به نظر می‌رسد Google دائماً در حال خزیدن است. سایت شما در حد ظرفیت سرویس دهی خود است، اما شما هنوز URL های مهمی دارید که وجود ندارند تا آنجایی که نیاز دارند خزیده یا به‌روزرسانی شوند، داشتن منابع خدماتی بیشتر ممکن است Google را قادر به انجام این کار کند صفحات بیشتری را در سایت خود درخواست کنید. سابقه در دسترس بودن هاست خود را در قسمت بررسی کنید آمار خزیدن گزارش را گزارش کنید تا ببینید آیا به نظر می‌رسد که نرخ خزیدن Google اغلب از خط حد عبور می‌کند یا خیر. اگر چنین است، منابع خدمات خود را برای یک ماه افزایش دهید و ببینید آیا درخواست‌های خزیدن در طول این مدت افزایش یافته است یا خیر همان دوره.

ببینید آیا بخشی از سایت شما خزیده نشده است، اما باید خزیده شود

گوگل به اندازه ای که لازم است در سایت شما زمان صرف می کند تا تمام کیفیت بالا را فهرست کند، محتوای ارزشمند برای کاربر که می تواند پیدا کند. اگر فکر می کنید که Googlebot از دست رفته مهم است محتوا، یا از محتوا اطلاعی ندارد، محتوا از Google مسدود شده است یا شما در دسترس بودن سایت دسترسی گوگل را محدود می کند (یا گوگل سعی می کند سایت شما را بیش از حد بارگذاری نکند).

تشخیص:

Search Console سابقه خزیدن برای سایت شما ارائه نمی دهد که بتوان آن را بر اساس URL یا فیلتر کرد. مسیر، اما می‌توانید گزارش‌های سایت خود را بررسی کنید تا ببینید آیا URL‌های خاص توسط آن خزیده شده‌اند یا خیر Googlebot. اینکه یا آن URL های خزیده شده ایندکس نشده اند داستان دیگری است.

به یاد داشته باشید که برای اکثر سایت ها، صفحات جدید حداقل چند روز طول می کشد تا مورد توجه قرار گیرند. اکثر سایت ها نباید انتظار خزیدن یک روزه برای URL ها داشته باشند، به استثنای سایت های حساس به زمان مانند سایت های خبری

درمان:

اگر صفحاتی را به سایت خود اضافه می کنید و به میزان معقولی خزیده نمی شوند زمان، یا گوگل از آنها اطلاعی ندارد، محتوا مسدود شده است، سایت شما به آن رسیده است حداکثر ظرفیت سرویس دهی، یا از بودجه خزیدن خارج هستید.

1. به گوگل در مورد صفحات جدید خود بگویید: نقشه سایت خود را به روز کنید تا نشانی های اینترنتی جدید را منعکس کند.
2. قوانین robots.txt خود را بررسی کنید تا تأیید کنید که به طور تصادفی صفحات را مسدود نمی کنید.
3. اولویت‌های خزیدن خود را مرور کنید (معمولاً از بودجه خزیدن خود عاقلانه استفاده کنید). مدیریت کنید موجودی شما و بازده خزیدن سایت شما را بهبود می بخشد.
4. بررسی کنید که ظرفیت سرویس شما تمام نشده است. اگر ربات گوگل تشخیص دهد که سرورهای شما مشکل دارند، خزیدن خود را کاهش می دهد پاسخ به درخواست‌های خزیدن.

توجه داشته باشید که صفحات ممکن است در نتایج جستجو نشان داده نشوند، حتی اگر خزیده شوند، اگر وجود نداشته باشد. ارزش کافی یا تقاضای کاربر برای محتوا.

ببینید آیا به‌روزرسانی‌ها به اندازه کافی سریع خزیده می‌شوند یا خیر

اگر صفحات جدید یا به روز شده را در سایت شما از دست می دهیم، شاید به این دلیل است که آنها را ندیده ایم، یا متوجه به روز شدن آنها نشده اید. در اینجا نحوه ای است که می توانید به ما کمک کنید تا از صفحه آگاه باشیم به روز رسانی ها

توجه داشته باشید که گوگل تلاش می کند تا صفحات را به موقع بررسی و فهرست بندی کند. برای اکثر سایت ها، این سه روز یا بیشتر است. انتظار نداشته باشید که گوگل صفحات را در همان روزی که شما ایندکس می کنید آنها را منتشر کنید مگر اینکه یک سایت خبری باشید یا سایت دیگری با ارزش بالا و بسیار حساس به زمان داشته باشید محتوا.

تشخیص:

گزارش های سایت خود را بررسی کنید تا ببینید چه زمانی URL های خاص توسط Googlebot خزیده شده است.

برای یادگیری تاریخ نمایه سازی، از ابزار URL Inspection استفاده کنید یا URL هایی را در گوگل جستجو کنید به روز کردی

درمان:

انجام دادن:

• اگر سایت شما از نقشه سایت خبری استفاده کنید دارای محتوای خبری پینگ Google هنگامی که نقشه سایت شما پست شده یا تغییر کرده است.
• از تگ <lastmod> در نقشه سایت استفاده کنید تا نشان دهید چه زمانی یک URL نمایه شده به روز شد.
• از یک ساختار URL ساده برای کمک به Google برای یافتن صفحات شما استفاده کنید.
• پیوندهای استاندارد و قابل خزیدن <a> را ارائه دهید برای کمک به Google برای یافتن صفحات شما.

اجتناب کردن:

• ارسال یک نقشه سایت بدون تغییر چندین بار در روز.
• انتظار می رود که Googlebot همه چیز را در نقشه سایت بخزد یا بلافاصله آنها را بخزد. نقشه‌های سایت پیشنهادهای مفیدی برای Googlebot هستند، نه الزامات مطلق.
• از جمله نشانی‌های وب در نقشه‌های سایت شما که نمی‌خواهید در جستجو ظاهر شوند. این می تواند بودجه خزیدن شما را در صفحاتی که نمی خواهید ایندکس شوند هدر دهد.

راندمان خزیدن سایت خود را بهبود بخشید

سرعت بارگذاری صفحه خود را افزایش دهید

خزیدن Google با پهنای باند، زمان و در دسترس بودن نمونه های Googlebot محدود شده است. اگر سرور شما سریع‌تر به درخواست‌ها پاسخ می‌دهد، ممکن است بتوانیم صفحات بیشتری را در شما بخزیم سایت. گفته می‌شود، گوگل فقط می‌خواهد محتوای با کیفیت بالا را بخزد، بنابراین به سادگی آن را پایین می‌آورد صفحات با کیفیت سریعتر Googlebot را تشویق به خزیدن بیشتر در سایت شما نمی کند. برعکس، اگر ما فکر کنید که محتوای با کیفیت بالا را در سایت شما از دست داده ایم، احتمالا شما را افزایش خواهیم داد بودجه برای خزیدن آن محتوا.

در اینجا نحوه بهینه سازی صفحات و منابع خود برای خزیدن آورده شده است:

• از بارگیری منابع بزرگ اما بی اهمیت توسط Googlebot با استفاده از robots.txt جلوگیری کنید. مطمئن شوید که فقط منابع غیر مهم را مسدود کنید - یعنی منابعی که برای آنها مهم نیستند درک معنای صفحه (مانند تصاویر تزئینی).
• مطمئن شوید که صفحات شما سریع بارگذاری می شوند.
• مراقب زنجیره های تغییر مسیر طولانی باشید که تأثیر منفی روی خزیدن دارند.
• هم زمان پاسخگویی به درخواست های سرور و هم زمان مورد نیاز برای ارائه صفحات، مواردی از جمله بارگذاری و زمان اجرا برای منابع جاسازی شده مانند تصاویر و اسکریپت ها. بودن از منابع بزرگ یا کند مورد نیاز برای نمایه سازی آگاه است.

تغییرات محتوا را با کدهای وضعیت HTTP مشخص کنید

گوگل به طور کلی پشتیبانی می کند If-Modified-Since و If-None-Match سرصفحه درخواست HTTP برای خزیدن خزنده‌های Google سرصفحه‌ها را با تمام تلاش‌های خزیدن ارسال نمی‌کنند. بستگی دارد به مورد استفاده درخواست (به عنوان مثال، AdsBot بیشتر است احتمالاً درخواست HTTP If-Modified-Since و If-None-Match را تنظیم می کند سرصفحه ها). اگر خزنده‌های ما هدر If-Modified-Since را ارسال کنند، مقدار هدر تاریخ و زمان است محتوا آخرین بار خزیده شد. بر اساس آن مقدار، سرور ممکن است انتخاب کند که a را برگرداند 304 (Not Modified) کد وضعیت HTTP بدون بدنه پاسخ، در این صورت Google از نسخه محتوایی که آخرین بار خزیده است دوباره استفاده خواهد کرد. اگر مطالب جدیدتر از تاریخ باشد توسط خزنده در هدر If-Modified-Since مشخص شده است، سرور می تواند یک 200 (OK) کد وضعیت HTTP با بدنه پاسخ.

مستقل از هدرهای درخواست، می توانید یک 304 (Not Modified) HTTP ارسال کنید اگر محتوا از آن زمان تغییر نکرده باشد، کد وضعیت و هیچ پاسخی برای درخواست Googlebot وجود ندارد Googlebot آخرین بار از URL بازدید کرد. این باعث صرفه جویی در زمان و منابع پردازش سرور شما می شود، که ممکن است به طور غیر مستقیم کارایی خزیدن را بهبود بخشد.

URL هایی را که نمی خواهید در نتایج جستجو پنهان کنید

هدر دادن منابع سرور در صفحات غیر ضروری می تواند فعالیت خزیدن را از صفحاتی که هستند کاهش دهد برای شما مهم است، که ممکن است باعث تاخیر قابل توجهی در کشف موارد جدید یا به روز شده بزرگ شود محتوای یک سایت

افشای بسیاری از URL ها در سایت شما که نمی خواهید توسط جستجو خزیده شوند، می تواند تأثیر منفی بر روی سایت شما بگذارد. خزیدن و نمایه سازی سایت. به طور معمول این URL ها در دسته های زیر قرار می گیرند:

• پیمایش وجهی و شناسه جلسه: ناوبری وجهی معمولاً محتوای تکراری از سایت است. شناسه های جلسه و سایر پارامترهای URL که به سادگی صفحه را مرتب یا فیلتر می کنند، محتوای جدیدی ارائه نمی دهند. استفاده کنید robots.txt برای مسدود کردن صفحات ناوبری وجهی.
• محتوای تکراری: به Google کمک کنید محتوای تکراری را شناسایی کند تا از خزیدن غیرضروری جلوگیری شود.
• soft 404 صفحات: یک 404 را برگردانید زمانی که صفحه ای دیگر وجود ندارد کد کنید.
• صفحات هک شده: حتما بررسی کنید امنیت مشکلات را گزارش کنید و هر صفحه هک شده ای را که پیدا کردید اصلاح یا حذف کنید.
• فضاهای بی نهایت و پراکسی ها: خزیدن اینها را با robots.txt مسدود کنید.
• محتوای هرزنامه و کیفیت پایین: بدیهی است که اجتناب از آن خوب است.
• صفحات سبد خرید، صفحات پیمایش بی نهایت و صفحاتی که عملی را انجام می دهند (مانند "ثبت نام» یا "اکنون بخرید" صفحات).

انجام دادن:

• اگر اصلاً نمی‌خواهید Google در یک منبع یا صفحه بخزد، از robots.txt استفاده کنید.
• اگر یک منبع مشترک در چندین صفحه (مانند یک تصویر مشترک یا جاوا اسکریپت) دوباره استفاده شود فایل)، منبع را از همان URL در هر صفحه ارجاع دهید، به طوری که Google بتواند حافظه پنهان و استفاده مجدد از یک منبع بدون نیاز به درخواست چندین بار از یک منبع.

اجتناب کردن:

• صفحات یا دایرکتوری ها را به طور منظم از robots.txt به عنوان راهی برای تخصیص مجدد اضافه یا حذف نکنید. بودجه خزیدن برای سایت شما از robots.txt فقط برای صفحات یا منابعی استفاده کنید که شما نمی خواهید در طولانی مدت در گوگل ظاهر شوید.
• نقشه های سایت را نچرخانید یا از مکانیسم های پنهان موقت دیگر برای تخصیص مجدد بودجه استفاده نکنید.

خزیدن بیش از حد سایت خود را کنترل کنید (مواقع اضطراری)

ربات گوگل الگوریتم هایی دارد که مانع از تحت فشار قرار دادن سایت شما با درخواست های خزیدن می شود. با این حال، اگر متوجه شدید که Googlebot سایت شما را تحت تأثیر قرار داده است، چند چیز وجود دارد که می توانید انجام دادن.

تشخیص:

سرور خود را برای درخواست های بیش از حد Googlebot به سایت خود نظارت کنید.

درمان:

در مواقع اضطراری، ما مراحل زیر را برای کاهش سرعت خزیدن شدید توصیه می‌کنیم Googlebot:

1. بازگرداندن 503 یا 429 کدهای وضعیت پاسخ HTTP به طور موقت برای Googlebot درخواست زمانی که شما سرور بیش از حد بارگذاری شده است Googlebot این URL ها را برای حدود 2 روز دوباره امتحان خواهد کرد. توجه داشته باشید که بازگشت "بدون در دسترس بودن» کدهای بیش از چند روز باعث کاهش دائمی گوگل یا خزیدن URL ها را در سایت خود متوقف کنید، بنابراین مراحل بعدی را دنبال کنید.
2. کاهش نرخ خزیدن Googlebot برای سایت شما. این ممکن است تا 2 روز طول بکشد تا اثر کند، و لازم است مجوزهای مالک دارایی کنسول جستجو این کار را فقط در صورت مشاهده طولانی مدت، تکراری انجام دهید خزیدن بیش از حد از Google در گزارش آمار خزیدن، در در دسترس بودن میزبان > نمودار استفاده از میزبان.
3. وقتی نرخ خزیدن پایین آمد، دیگر 503 یا 429 HTTP را متوقف کنید کدهای وضعیت پاسخ برای درخواست های خزیدن؛ بازگشت 503 یا 429 برای بیش از 2 روز باعث می شود گوگل آن URL ها را از فهرست حذف کند.
4. خزیدن و ظرفیت میزبان خود را در طول زمان نظارت کنید و در صورت لزوم، خود را افزایش دهید دوباره نرخ خزیدن یا اجازه دادن به نرخ پیش‌فرض خزیدن.
5. اگر خزنده مشکل دار یکی از خزنده های AdsBot باشد، مشکل احتمالاً این است که شما اهداف تبلیغات جستجوی پویا را ایجاد کرده اید. برای سایت شما که گوگل سعی در خزیدن آن دارد. این خزیدن دوباره تکرار خواهد شد هر 2 هفته اگر ظرفیت سرور برای مدیریت این خزیدن ها را نیز ندارید اهداف تبلیغاتی خود را محدود کنید یا ظرفیت ارائه خدمات را افزایش دهید.

افسانه ها و حقایق در مورد خزیدن

دانش خود را در مورد نحوه خزیدن و نمایه سازی وب سایت توسط گوگل آزمایش کنید.

فشرده سازی نقشه های سایت من می تواند بودجه خزیدن من را افزایش دهد.

نادرست

نخواهد شد. نقشه های سایت فشرده هنوز باید از سرور واکشی شوند، بنابراین شما واقعاً نیستید با ارسال نقشه های فشرده شده سایت، در زمان خزیدن یا تلاش زیادی در بخش Google صرفه جویی می شود.

پاسخ صحیح.

درست است، واقعی

دوباره امتحان کنید.

گوگل محتوای جدیدتر را ترجیح می دهد، بنابراین بهتر است صفحه خود را اصلاح کنم.

نادرست

محتوا بدون در نظر گرفتن سن، بر اساس کیفیت رتبه بندی می شود. محتوای خود را به عنوان ایجاد و به روز کنید ضروری است، اما هیچ ارزش اضافی در ساختن صفحات به صورت مصنوعی وجود ندارد تازه با ایجاد تغییرات بی اهمیت و به روز رسانی تاریخ صفحه.

پاسخ صحیح.

درست است، واقعی

دوباره امتحان کنید.

گوگل محتوای قدیمی (وزن بیشتری دارد) را به محتوای تازه ترجیح می دهد.

درست است، واقعی

دوباره امتحان کنید.

نادرست

اگر صفحه شما مفید است، چه جدید و چه قدیمی مفید است.

پاسخ صحیح.

Google URL های تمیز را ترجیح می دهد و پارامترهای پرس و جو را دوست ندارد.

درست است، واقعی

دوباره امتحان کنید.

نادرست

ما می توانیم پارامترها را بخزیم.

پاسخ صحیح.

هرچه صفحات شما سریع‌تر بارگذاری و رندر شوند، گوگل بیشتر قادر به خزیدن است.

نادرست

دوباره امتحان کنید.

درست است، واقعی

درست است، از این نظر که منابع ما با ترکیبی از زمان و تعداد خزیدن محدود شده است ربات ها اگر بتوانید صفحات بیشتری را در مدت زمان محدود به ما ارائه دهید، می‌توانیم بیشتر بخزیم از آنها با این حال، ممکن است زمان بیشتری را به خزیدن سایتی اختصاص دهیم که دارای اهمیت بیشتری است اطلاعات، حتی اگر کندتر باشد. احتمالاً برای شما مهم‌تر است که خودتان را بسازید سایت برای کاربران شما سریعتر از سرعت بخشیدن به افزایش پوشش خزیدن شماست. این است کمک به Google در خزیدن محتوای مناسب بسیار ساده تر از خزیدن تمام محتوای شماست هر زمان. توجه داشته باشید که خزیدن یک سایت شامل بازیابی و رندر کردن آن است محتوا. زمان صرف شده برای رندر صفحه به اندازه زمان صرف شده برای درخواست صفحه حساب می شود. بنابراین سریع‌تر کردن صفحات شما برای رندر کردن، سرعت خزیدن را نیز افزایش می‌دهد.

پاسخ صحیح.

سایت های کوچک به اندازه سایت های بزرگ خزیده نمی شوند.

درست است، واقعی

دوباره امتحان کنید.

نادرست

اگر سایتی محتوای مهمی داشته باشد که اغلب تغییر می کند، بدون در نظر گرفتن اندازه، اغلب آن را می خزیم.

پاسخ صحیح.

هر چه محتوای شما به صفحه اصلی نزدیکتر باشد برای گوگل اهمیت بیشتری دارد.

درست است، واقعی

دوباره امتحان کنید.

نادرست

دوباره امتحان کنید.

تا حدی درست است

صفحه اصلی سایت شما اغلب مهمترین صفحه در آن است سایت شما، و بنابراین صفحاتی که مستقیماً به صفحه اصلی لینک شده اند ممکن است مهمتر دیده شوند، و بنابراین بیشتر می خزد. با این حال، این بدان معنا نیست که این صفحات خواهند بود رتبه بالاتری نسبت به سایر صفحات سایت شما دارد.

پاسخ صحیح.

نسخه‌سازی URL راه خوبی برای تشویق گوگل به خزیدن مجدد صفحات من است.

تا حدی درست است

استفاده از یک URL نسخه شده برای صفحه خود به منظور جلب نظر احتمالاً گوگل زودتر دوباره آن را بخزد، اما اغلب این کار ضروری نیست. و اگر صفحه واقعاً تغییر نکند، منابع خزیدن را هدر خواهد داد. اگر استفاده می کنید URL های نسخه شده برای نشان دادن محتوای جدید، توصیه می کنیم فقط به شما مراجعه کنید زمانی که محتوای صفحه به طور معناداری تغییر کرد، URL را تغییر دهید.

پاسخ صحیح.

درست است، واقعی

دوباره امتحان کنید.

نادرست

دوباره امتحان کنید.

سرعت سایت و خطاها بر بودجه خزیدن من تأثیر می گذارد.

نادرست

دوباره امتحان کنید.

درست است، واقعی

سریعتر ساختن سایت باعث بهبود کاربران می شود' تجربه در حالی که نرخ خزیدن را نیز افزایش می دهد. برای Googlebot یک سایت سریع نشانه سرورهای سالم است، بنابراین می تواند محتوای بیشتری را دریافت کند همان تعداد اتصال از طرف دیگر، تعداد قابل توجهی از 5xx کدهای وضعیت پاسخ HTTP (خطاهای سرور) یا وقفه های اتصال برعکس را نشان می دهد و خزیدن کند می شود توصیه می کنیم به گزارش Crawl Stats در جستجو توجه کنید کنسول و کم نگه داشتن تعداد خطاهای سرور.

پاسخ صحیح.

خزیدن یک عامل رتبه بندی است.

نادرست

بهبود نرخ خزیدن شما لزوما به موقعیت های بهتر در نتایج جستجو منجر نمی شود. گوگل از سیگنال های زیادی برای رتبه بندی نتایج استفاده می کند و در حالی که خزیدن برای a ضروری است صفحه برای قرار گرفتن در نتایج جستجو، سیگنال رتبه بندی نیست.

پاسخ صحیح.

درست است، واقعی

دوباره امتحان کنید.

URL های جایگزین و محتوای جاسازی شده در بودجه خزیدن به حساب می آیند.

نادرست

دوباره امتحان کنید.

درست است، واقعی

به طور کلی، هر URL که ربات گوگل می خزند، به عنوان بودجه خزیدن یک سایت به حساب می آید. URLهای جایگزین، مانند AMP یا hreflang، و همچنین محتوای جاسازی شده، مانند CSS و جاوا اسکریپت، از جمله واکشی XHR، ممکن است باید خزیده شود و بودجه خزیدن یک سایت را مصرف کند.

پاسخ صحیح.

من می توانم Googlebot را با "تاخیر خزیدن» قانون.

نادرست

غیر استاندارد «تاخیر خزیدن» قانون robots.txt توسط Googlebot پردازش نمی شود.

پاسخ صحیح.

درست است، واقعی

دوباره امتحان کنید.

قانون nofollow بر بودجه خزیدن تأثیر می‌گذارد.

نادرست

دوباره امتحان کنید.

درست است، واقعی

دوباره امتحان کنید.

تا حدی درست است

هر URL که خزیده می شود بر بودجه خزیدن تأثیر می گذارد، حتی اگر صفحه شما یک URL را به عنوان nofollow علامت گذاری می کند، اگر صفحه دیگری همچنان قابل خزیدن است در سایت شما یا هر صفحه ای در وب، پیوند را به عنوان nofollow برچسب گذاری نمی کند.

پاسخ صحیح.

می توانم از noindex برای کنترل بودجه خزیدن استفاده کنم.

نادرست

دوباره امتحان کنید.

تا حدی درست است

هر URL که خزیده می شود بر بودجه خزیدن تأثیر می گذارد و Google باید به ترتیب صفحه را بخزد برای پیدا کردن قانون noindex.

با این حال، noindex وجود دارد تا به شما کمک کند تا موارد را از فهرست دور نگه دارید. اگر شما می‌خواهید مطمئن شوید که آن صفحات در فهرست Google ختم نمی‌شوند، به استفاده از noindex ادامه دهید و نگران بودجه خزیدن نباشید. همچنین مهم است که توجه داشته باشید که اگر URL ها را حذف کنید از فهرست Google با noindex یا در غیر این صورت، Googlebot می تواند بر روی سایر URL های سایت شما، به این معنی که noindex می تواند به طور غیرمستقیم مقداری خزیدن را آزاد کند بودجه برای سایت شما در دراز مدت

پاسخ صحیح.

درست است، واقعی

دوباره امتحان کنید.

صفحاتی که کدهای وضعیت HTTP 4xx را ارائه می‌دهند، بودجه خزیدن را هدر می‌دهند.

نادرست

صفحاتی که 4xx کدهای وضعیت HTTP را ارائه می کنند (به جز 429) بودجه خزیدن را هدر ندهید. گوگل تلاش کرد صفحه را بخزد، اما یک کد وضعیت دریافت کرد و محتوای دیگری دریافت نکرد.

پاسخ صحیح.

درست است، واقعی

دوباره امتحان کنید.