Google Search Central

راهنمای جامع سئو برای موتورهای جستجو

خانه> خزیدن و نمایه‌سازی> مدیریت خزنده‌ها> تاثیر خطاهای http

نحوه تأثیر کدهای وضعیت HTTP، و خطاهای شبکه و DNS در جستجوی Google

این صفحه توضیح می دهد که چقدر متفاوت است کدهای وضعیت HTTP، خطاهای شبکه و خطاهای DNS بر جستجوی Google تأثیر می گذارد. ما 20 کد وضعیت برتر را پوشش می دهیم Googlebot در وب مواجه می شود و برجسته ترین خطاهای شبکه و DNS. وضعیت عجیب و غریب تر کدهایی مانند 418 (I'm a teapot)، تحت پوشش قرار نمی گیرند. تمام مشکلات ذکر شده در این صفحه یک خطا یا هشدار مربوطه را ایجاد می کند کنسول جستجو گزارش نمایه سازی صفحه.

کدهای وضعیت HTTP توسط سروری که سایت را میزبانی می کند، هنگامی که به یک پاسخ پاسخ می دهد، تولید می شود. درخواستی که توسط یک مشتری، به عنوان مثال یک مرورگر یا یک خزنده، ارائه شده است. هر کد وضعیت HTTP دارای یک است معنای متفاوتی دارد، اما اغلب نتیجه درخواست یکسان است. مثلا وجود دارد کدهای وضعیت متعددی که تغییر مسیر را سیگنال می دهند، اما نتیجه آنها یکسان است.

کنسول جستجو پیام‌های خطا را برای کدهای وضعیت در محدوده 4xx–5xx ایجاد می‌کند، و برای تغییر مسیرهای ناموفق (3xx). اگر سرور با a پاسخ داد 2xx کد وضعیت، محتوای دریافت شده در پاسخ ممکن است برای آن در نظر گرفته شود نمایه سازی

جدول زیر حاوی بیشترین کدهای وضعیت HTTP است که توسط Googlebot و an توضیح دهید که Google چگونه هر کد وضعیت را مدیریت می کند.

کدهای وضعیت HTTP

2xx (success)

گوگل محتوا را برای نمایه سازی در نظر می گیرد. مثلاً اگر محتوا خطایی را نشان دهد یک صفحه خالی یا یک پیام خطا، کنسول جستجو یک را نشان می دهد soft 404 خطا.

200 (success)

گوگل محتوا را به خط لوله نمایه سازی منتقل می کند. سیستم های نمایه سازی ممکن است محتوا را فهرست کنید، اما تضمینی نیست.

201 (created)
202 (accepted)

ربات گوگل برای مدت زمان محدودی منتظر محتوا می ماند، سپس هر آنچه را که منتشر می کند، ارائه می کند به خط لوله نمایه سازی دریافت شد. مهلت زمانی وابسته به عامل کاربر است، برای به عنوان مثال ممکن است گوشی هوشمند Googlebot دارای مهلت زمانی متفاوتی نسبت به تصویر Googlebot باشد.

204 (no content)

Googlebot به خط لوله نمایه سازی سیگنال می دهد که هیچ محتوایی دریافت نکرده است. جستجو کردن کنسول ممکن است خطای soft 404 را در سایت نشان دهد گزارش نمایه سازی صفحه.

3xx (redirection)

Googlebot تا 10 بار تغییر مسیر را دنبال می کند. اگر خزنده محتوا را در داخل دریافت نکند 10 پرش، کنسول جستجو یک را نشان می دهد خطای تغییر مسیر در گزارش نمایه سازی صفحه سایت. تعداد پرش هایی که Googlebot دنبال می کند عامل کاربر است وابسته برای مثال، ممکن است تلفن هوشمند Googlebot ارزش متفاوتی با Googlebot داشته باشد تصویر.

در مورد robots.txt، Googlebot حداقل پنج بار تغییر مسیر را طبق تعریف شده دنبال می کند RFC 1945 و سپس متوقف می شود و آن را به عنوان یک 404 برای فایل robots.txt در نظر می گیرد.

هر محتوای Googlebot دریافت شده از URL تغییر مسیر نادیده گرفته می شود و هدف نهایی است محتوای URL برای نمایه سازی در نظر گرفته می شود.

301 (moved permanently)

Googlebot ریدایرکت را دنبال می کند و خط لوله نمایه سازی از تغییر مسیر به عنوان a استفاده می کند قوی سیگنال می دهد که هدف تغییر مسیر باید متعارف باشد.

302 (found)

Googlebot ریدایرکت را دنبال می کند و خط لوله نمایه سازی از تغییر مسیر به عنوان a استفاده می کند سیگنال ضعیف مبنی بر اینکه هدف تغییر مسیر باید متعارف باشد.

303 (see other)
304 (not modified)

Googlebot به خط لوله نمایه سازی سیگنال می دهد که محتوا مشابه دفعه قبل است خزیده شد خط لوله نمایه سازی ممکن است سیگنال های URL را دوباره محاسبه کند، اما در غیر این صورت کد وضعیت تاثیری در نمایه سازی ندارد.

307 (temporary redirect) معادل 302.
308 (moved permanently) معادل 301.

4xx (client errors)

خط لوله نمایه سازی Google URL هایی را که وضعیت 4xx را برمی گرداند در نظر نمی گیرد. کد برای نمایه سازی، و URL هایی که قبلاً ایندکس شده اند و 4xx را برمی گرداند کد وضعیت از فهرست حذف می شود.

هر محتوایی که Googlebot از نشانی‌های اینترنتی دریافت می‌کند که کد وضعیت 4xx را برمی‌گرداند نادیده گرفته شده است.

400 (bad request)

همه خطاهای 4xx، به جز 429، یکسان برخورد می کنند: Googlebot به خط لوله نمایه سازی نشان می دهد که محتوا وجود ندارد.

خط لوله نمایه سازی URL را در صورتی که قبلا ایندکس شده بود از فهرست حذف می کند. صفحات 404 که به تازگی با آنها مواجه شده اند پردازش نمی شوند. فرکانس خزیدن به تدریج کاهش می یابد.

401 (unauthorized)
403 (forbidden)
404 (not found)
410 (gone)
411 (length required)
429 (too many requests)

Googlebot کد وضعیت 429 را به عنوان سیگنالی از وجود سرور در نظر می گیرد بیش از حد بارگذاری شده است و به عنوان یک خطای سرور در نظر گرفته می شود.

5xx (server errors)

5xxخطاهای سرور و 429 از خزنده‌های Google می‌خواهد به طور موقت با خزیدن سرعت خود را کاهش دهید. URL های قبلاً فهرست شده در فهرست حفظ می شوند، اما در نهایت سقوط کرد.

اگر فایل robots.txt کد وضعیت خطای سرور را برای بیش از 30 روز برگرداند، Google از آخرین نسخه کش شده robots.txt استفاده خواهد کرد. اگر در دسترس نباشد، گوگل آن را فرض می کند هیچ محدودیتی برای خزیدن وجود ندارد

هر محتوایی که Googlebot از نشانی‌های اینترنتی دریافت می‌کند که کد وضعیت 5xx را برمی‌گرداند نادیده گرفته شده است.

500 (internal server error)

Googlebot نرخ خزیدن سایت را کاهش می دهد. کاهش نرخ خزیدن است متناسب با تعداد URL های فردی که خطای سرور را برمی گرداند. خط لوله نمایه سازی Google URL هایی را که به طور مداوم یک نشانی را برمی گرداند از فهرست نشانی حذف می کند. خطای سرور.

502 (bad gateway)
503 (service unavailable)

خطای soft 404 زمانی است که نشانی اینترنتی صفحه ای را برمی گرداند و به کاربر می گوید که آن صفحه وجود ندارد و همچنین a 200 (success) کد وضعیت. در برخی موارد، ممکن است صفحه ای بدون محتوای اصلی یا صفحه خالی باشد.

چنین صفحاتی ممکن است به دلایل مختلفی توسط وب سرور یا محتوای وب سایت شما ایجاد شوند سیستم مدیریت یا مرورگر کاربر. مثلا:

  • یک فایل شامل سمت سرور گم شده است.
  • اتصال خراب به پایگاه داده
  • یک صفحه نتیجه جستجوی داخلی خالی.
  • یک فایل جاوا اسکریپت بارگیری نشده یا گم شده است.

بازگرداندن کد وضعیت 200 (success) تجربه کاربری بدی است، اما پس از آن نمایش یا پیشنهاد یک پیام خطا یا نوعی خطا در صفحه. کاربران ممکن است فکر کنند صفحه یک صفحه کاری زنده است، اما سپس با نوعی خطا نمایش داده می شود. چنین صفحاتی هستند از جستجو حذف شد.

هنگامی که الگوریتم های گوگل تشخیص می دهند که صفحه در واقع یک صفحه خطا بر اساس محتوای آن است، کنسول جستجو یک خطای soft 404 را در سایت نشان می دهد گزارش نمایه سازی صفحه.

بسته به وضعیت صفحه و نتیجه مورد نظر، می توانید soft 404 را حل کنید خطاها به روش های مختلف:

سعی کنید تعیین کنید کدام راه حل برای کاربران شما بهترین است.

اگر صفحه را حذف کرده اید و هیچ صفحه جایگزینی با محتوای مشابه در سایت شما وجود ندارد، برگرداندن الف 404 (not found) یا 410 (gone) کد پاسخ (وضعیت) برای صفحه. این کدهای وضعیت به موتورهای جستجو نشان می دهد که صفحه وجود ندارد و محتوا نباید ایندکس شود.

اگر به فایل های پیکربندی سرور خود دسترسی دارید، می توانید این صفحات خطا را مفید کنید. به کاربران با سفارشی کردن آنها. یک صفحه 404 سفارشی خوب به افراد کمک می کند تا آن را پیدا کنند اطلاعاتی که آنها به دنبال آن هستند، و همچنین محتوای مفید دیگری را ارائه می دهد که تشویق می کند افراد برای کاوش بیشتر سایت شما در اینجا چند نکته برای طراحی یک سفارشی مفید آورده شده است صفحه 404:

  • به بازدیدکنندگان به وضوح بگویید که صفحه ای که به دنبال آن هستند پیدا نمی شود. از زبانی که هست استفاده کنید دوستانه و دعوت کننده
  • مطمئن شوید که صفحه 404 شما ظاهر و احساسی مشابه دارد (از جمله پیمایش) بقیه سایت شما.
  • افزودن لینک به مقالات یا پست های محبوب خود و همچنین پیوندی به مقالات خود را در نظر بگیرید صفحه اصلی سایت.
  • به فکر ارائه راهی برای کاربران برای گزارش یک لینک شکسته باشید.

صفحات 404 سفارشی فقط برای کاربران ایجاد شده اند. از آنجایی که این صفحات بی فایده هستند دیدگاه یک موتور جستجو، مطمئن شوید که سرور وضعیت HTTP 404 را برمی گرداند. کدی برای جلوگیری از ایندکس شدن صفحات

اگر صفحه شما جابه جا شده است یا یک جایگزین واضح در سایت شما دارد، a را برگردانید 301 (permanent redirect) برای تغییر مسیر کاربر این کار تجربه مرور آنها را قطع نمی کند و همچنین عالی است روشی برای گفتن مکان جدید صفحه به موتورهای جستجو. استفاده کنید ابزار بازرسی URL برای بررسی اینکه آیا URL شما واقعاً کد صحیح را برمی گرداند یا خیر.

اگر یک صفحه خوب با خطای soft 404 پرچم‌گذاری شد، به احتمال زیاد برای Googlebot به درستی بارگیری نشد، منابع حیاتی را از دست داده بود، یا نمایش داده شد پیام خطای برجسته در حین رندرینگ استفاده کنید ابزار بازرسی URL برای بررسی محتوای رندر شده و کد HTTP برگشتی. اگر صفحه رندر شده خالی است، تقریباً خالی است، یا محتوا دارای یک پیام خطا است، ممکن است صفحه شما به تعداد زیادی ارجاع دهد منابعی که نمی توانند بارگیری شوند (تصاویر، اسکریپت ها و سایر عناصر غیر متنی)، که می تواند به عنوان soft 404 تفسیر می شود. دلایلی که منابع را نمی توان بارگیری کرد شامل منابع مسدود شده (مسدود شده توسط robots.txt)، داشتن بیش از حد منابع موجود در یک صفحه، خطاهای مختلف سرور، یا بارگذاری کند یا منابع بسیار زیاد.

خطاهای شبکه و DNS تأثیرات منفی و سریعی بر حضور URL در جستجوی Google دارند. Googlebot با وقفه های زمانی شبکه، تنظیم مجدد اتصال و خطاهای DNS به طور مشابه رفتار می کند 5xx خطاهای سرور. در صورت بروز خطاهای شبکه، خزیدن بلافاصله شروع می شود کاهش سرعت، زیرا یک خطای شبکه نشانه آن است که سرور ممکن است قادر به مدیریت آن نباشد بار خدمت از آنجایی که Googlebot نمی تواند به سرور میزبان سایت دسترسی پیدا کند، گوگل نیز به آن دسترسی پیدا نکرده است. هر محتوایی را از سرور دریافت کرد. کمبود محتوا به این معنی است که گوگل نمی تواند آن را ایندکس کند نشانی‌های وب خزیده شده و نشانی‌های اینترنتی فهرست‌شده از قبل غیرقابل دسترسی از Google حذف خواهند شد. ایندکس در عرض چند روز کنسول جستجو ممکن است برای هر خطای مربوطه خطا ایجاد کند.

این خطاها قبل از اینکه گوگل شروع به خزیدن URL کند یا زمانی که گوگل در حال خزیدن URL است رخ می دهد. از آنجایی که ممکن است خطاها قبل از پاسخگویی سرور رخ دهند و بنابراین هیچ کد وضعیتی وجود ندارد می تواند به مسائل اشاره کند، تشخیص این خطاها می تواند چالش برانگیزتر باشد. برای رفع اشکال تایم اوت و خطاهای تنظیم مجدد اتصال:

  • به تنظیمات و گزارش‌های فایروال خود نگاه کنید. ممکن است بیش از حد گسترده وجود داشته باشد مجموعه قوانین مسدود کردن مطمئن شوید که آدرس های IP Googlebot توسط هیچ قانون فایروال مسدود نمی شوند.
  • به ترافیک شبکه نگاه کنید. از ابزارهایی مانند tcpdump و Wireshark برای گرفتن و تجزیه و تحلیل بسته های TCP، و به دنبال ناهنجاری هایی باشید که به یک جزء شبکه یا سرور خاص اشاره می کنند مدول.
  • اگر چیز مشکوکی پیدا نکردید، با شرکت میزبان خود تماس بگیرید.

این خطا ممکن است در هر مؤلفه سروری باشد که ترافیک شبکه را مدیریت می کند. به عنوان مثال، اضافه بار رابط های شبکه ممکن است بسته هایی را رها کنند که منجر به وقفه زمانی شود (عدم امکان برقراری اتصال) و اتصالات را بازنشانی کنید (RST بسته ارسال شد زیرا یک پورت به اشتباه بسته شده است).

خطاهای DNS معمولاً به دلیل پیکربندی نادرست ایجاد می شوند، اما ممکن است توسط a نیز ایجاد شوند قانون فایروال که پرس و جوهای Googlebot DNS را مسدود می کند. برای رفع اشکال خطاهای DNS، موارد زیر را انجام دهید:

  • قوانین فایروال خود را بررسی کنید. مطمئن شوید که هیچ یک از IP های Google توسط هر قاعده فایروال مسدود شده است و هر دو UDP و TCP درخواست ها مجاز است.
  • به سوابق DNS خود نگاه کنید. دوباره بررسی کنید که A و CNAME رکوردها به آدرس های IP و نام میزبان مناسب اشاره می کنند، به ترتیب. مثلا: 
    dig +nocmd example.com a +noall +answer
     
    dig +nocmd www.example.com cname +noall +answer
  • بررسی کنید که همه سرورهای نام شما به آدرس های IP صحیح شما اشاره می کنند سایت. مثلا: 
    dig +nocmd example.com ns +noall +answer
    example    .com.    86400  IN  NS  a.iana-servers.net.
    example    .com.    86400  IN  NS  b.iana-servers.net.
    dig +nocmd @a.iana-servers.net example.com +noall +answer
    example    .com.    86400  IN  A  93.184.216.34
    dig +nocmd @b.iana-servers.net example.com +noall +answer
    ...
  • اگر در 72 ساعت گذشته تغییراتی در پیکربندی DNS خود ایجاد کرده‌اید، ممکن است لازم باشد منتظر بمانید تا تغییرات شما در شبکه جهانی DNS منتشر شود. برای سرعت بخشیدن به انتشار، می توانید کش DNS عمومی Google را پاک کنید.
  • اگر سرور DNS خود را اجرا می کنید، مطمئن شوید که سالم است و اضافه بار نیست
منبع اطلاعات این صفحه راهنمای رسمی گوگل برای اصول سئو، صفحه می‌باشد. این محتوا توسط گوگل تهیه شده و تحت مجوز Creative Commons Attribution 4.0 منتشر شده است و با همین مجوز توسط من ترجمه و منتشر می‌شود.
Last updated UTC.
Last updated in Google UTC.