چگونه گوگل صفحات سازگار با زبان محلی را می خزد
اگر سایت شما دارای صفحات محلی تطبیقی است (یعنی سایت شما محتوای متفاوتی را برمی گرداند.
بر اساس کشور درک شده یا زبان ترجیحی بازدیدکننده)، ممکن است Google نخزد،
ایندکس کنید، یا تمام محتوای خود را برای مناطق مختلف رتبه بندی کنید. این به دلیل IP پیش فرض است
به نظر می رسد آدرس های خزنده Googlebot در ایالات متحده آمریکا مستقر هستند. علاوه بر این، خزنده
درخواست های HTTP را بدون تنظیم Accept-Language در سرصفحه درخواست ارسال می کند.
خزیدن با توزیع جغرافیایی
Googlebot با آدرس‌های IP مستقر در خارج از ایالات متحده، علاوه بر آدرس‌های IP مستقر در ایالات متحده، می‌خزد.
همانطور که همیشه توصیه کرده‌ایم، وقتی به نظر می‌رسد Googlebot از کشور خاصی آمده است، رفتار کنید مانند هر کاربر دیگری از آن کشور رفتار می کنید. این بدان معناست که اگر بلاک کنید کاربران مستقر در ایالات متحده از دسترسی به محتوای شما، اما به بازدیدکنندگان استرالیایی اجازه دیدن آن را می دهند، سرور شما باید ربات Google را که به نظر می رسد از ایالات متحده می آید مسدود کند، اما اجازه دسترسی را بدهد به یک ربات Google که به نظر می رسد از استرالیا آمده است.
ملاحظات دیگر
- Googlebot از یک رشته عامل کاربر برای همه پیکربندی‌های خزیدن استفاده می‌کند. بیشتر بدانید رشته های عامل کاربر استفاده شده است توسط خزنده های Google.
- می توانید Googlebot را تأیید کنید خزیدن های توزیع شده جغرافیایی با استفاده از جستجوی معکوس DNS.
- مطمئن شوید که سایت شما پروتکل حذف ربات ها را به طور مداوم برای
هر منطقه این بدان معنی است که ربات ها باید برچسب های
metaو فایل robots.txt را داشته باشند قوانین یکسانی را در هر منطقه مشخص کنید.