Google Search Central

راهنمای جامع سئو برای موتورهای جستجو

خانه> خزیدن و نمایه‌سازی> مدیریت خزنده‌ها> بررسی ربات گوگل و خزنده‌ها

تأیید Googlebot و سایر خزنده‌های Google

می توانید بررسی کنید که آیا خزنده وب که به سرور شما دسترسی دارد واقعاً یک است خزنده Google، مانند Googlebot. اگر نگران هستید که هرزنامه‌نویس‌ها یا دیگر دردسرسازها هستند، این کار مفید است دسترسی به سایت شما در حالی که ادعا می کنید Googlebot هستید.

خزنده های گوگل به سه دسته تقسیم می شوند:

تایپ کنید شرح ماسک DNS معکوس محدوده IP
Googlebot خزنده اصلی برای محصولات جستجوی Google. همیشه به قوانین robots.txt احترام می گذارد. crawl-***-***-***-***.googlebot.comیا geo-crawl-***-***-***-***.geo.googlebot.com googlebot.json
خزنده های مورد خاص خزنده هایی که عملکردهای خاصی را انجام می دهند (مانند AdsBot)، که ممکن است به آنها احترام بگذارد یا خیر قوانین robots.txt rate-limited-proxy-***-***-***-***.google.com special-crawlers.json
واکشی‌های راه‌اندازی شده توسط کاربر ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند. مثلا، تأییدکننده سایت Google به درخواست کاربر عمل می کند. از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌ها قوانین robots.txt را نادیده بگیرید. ***-***-***-***.gae.googleusercontent.com user-triggered-fetchers.json

دو روش برای تأیید خزنده‌های Google وجود دارد:

  • دستی: برای جستجوهای یکباره، از ابزارهای خط فرمان استفاده کنید. این روش است برای اکثر موارد استفاده کافی است.
  • به صورت خودکار: برای جستجو در مقیاس بزرگ، از یک راه حل خودکار استفاده کنید آدرس IP یک خزنده را با لیست آدرس های IP منتشر شده Googlebot مطابقت دهید.
  1. یک جستجوی معکوس DNS روی آدرس IP دسترسی از لاگ های خود، با استفاده از دستور host.
  2. بررسی کنید که نام دامنه googlebot.com، google.com یا googleusercontent.com.
  3. یک جستجوی DNS رو به جلو روی نام دامنه بازیابی شده در مرحله 1 با استفاده از host اجرا کنید فرمان روی نام دامنه بازیابی شده
  4. بررسی کنید که همان آدرس IP اصلی دسترسی از گزارش‌های شما باشد.

مثال 1:

host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1

مثال 2:

host 35.247.243.240
240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.

host geo-crawl-35-247-243-240.geo.googlebot.com
geo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240

مثال 3:

host 66.249.90.77
77.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.

host rate-limited-proxy-66-249-90-77.google.com
rate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77

همچنین، می‌توانید Googlebot را با آدرس IP با تطبیق آدرس IP خزنده شناسایی کنید. به لیست خزنده های Google' و fetchers' محدوده IP:

برای سایر آدرس‌های IP Google از جایی که ممکن است به سایت شما دسترسی داشته باشد (به عنوان مثال، Apps Scripts)، با آدرس IP دسترسی مطابقت دارد در برابر ژنرال فهرست آدرس‌های IP Google. توجه داشته باشید که آدرس‌های IP در فایل‌های JSON در نمایش داده می‌شوند قالب CIDR.

منبع اطلاعات این صفحه راهنمای رسمی گوگل برای اصول سئو، صفحه می‌باشد.
آخرین بروزرسانی اطلاعات این صفحه در
این صفحه در حال تکمیل است.