تأیید Googlebot و سایر خزنده‌های Google
می توانید بررسی کنید که آیا خزنده وب که به سرور شما دسترسی دارد واقعاً یک است خزنده Google، مانند Googlebot. اگر نگران هستید که هرزنامه‌نویس‌ها یا دیگر دردسرسازها هستند، این کار مفید است دسترسی به سایت شما در حالی که ادعا می کنید Googlebot هستید.
خزنده های گوگل به سه دسته تقسیم می شوند:
| تایپ کنید | شرح | ماسک DNS معکوس | محدوده IP |
|---|---|---|---|
| Googlebot | خزنده اصلی برای محصولات جستجوی Google. همیشه به قوانین robots.txt احترام می گذارد. |
crawl-***-***-***-***.یا
geo-crawl-***-***-***-***.
|
googlebot.json |
| خزنده های مورد خاص | خزنده هایی که عملکردهای خاصی را انجام می دهند (مانند AdsBot)، که ممکن است به آنها احترام بگذارد یا خیر قوانین robots.txt | rate-limited-proxy-***-***-***-***. |
special-crawlers.json |
| واکشی‌های راه‌اندازی شده توسط کاربر | ابزارها و عملکردهای محصول که در آن کاربر نهایی واکشی را راه اندازی می کند. مثلا، تأییدکننده سایت Google به درخواست کاربر عمل می کند. از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌ها قوانین robots.txt را نادیده بگیرید. | ***-***-***-***. |
user-triggered-fetchers.json |
دو روش برای تأیید خزنده‌های Google وجود دارد:
- دستی: برای جستجوهای یکباره، از ابزارهای خط فرمان استفاده کنید. این روش است برای اکثر موارد استفاده کافی است.
- به صورت خودکار: برای جستجو در مقیاس بزرگ، از یک راه حل خودکار استفاده کنید آدرس IP یک خزنده را با لیست آدرس های IP منتشر شده Googlebot مطابقت دهید.
از ابزارهای خط فرمان استفاده کنید
-
یک جستجوی معکوس DNS روی آدرس IP دسترسی از لاگ های خود، با استفاده از
دستور
host. -
بررسی کنید که نام دامنه
googlebot.com،google.comیاgoogleusercontent.com. -
یک جستجوی DNS رو به جلو روی نام دامنه بازیابی شده در مرحله 1 با استفاده از
hostاجرا کنید فرمان روی نام دامنه بازیابی شده - بررسی کنید که همان آدرس IP اصلی دسترسی از گزارش‌های شما باشد.
مثال 1:
host 66.249.66.11.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.host crawl-66-249-66-1.googlebot.comcrawl-66-249-66-1.googlebot.com has address 66.249.66.1
مثال 2:
host 35.247.243.240240.243.247.35.in-addr.arpa domain name pointer geo-crawl-35-247-243-240.geo.googlebot.com.host geo-crawl-35-247-243-240.geo.googlebot.comgeo-crawl-35-247-243-240.geo.googlebot.com has address 35.247.243.240
مثال 3:
host 66.249.90.7777.90.249.66.in-addr.arpa domain name pointer rate-limited-proxy-66-249-90-77.google.com.host rate-limited-proxy-66-249-90-77.google.comrate-limited-proxy-66-249-90-77.google.com has address 66.249.90.77
از راه حل های خودکار استفاده کنید
همچنین، می‌توانید Googlebot را با آدرس IP با تطبیق آدرس IP خزنده شناسایی کنید. به لیست خزنده های Google' و fetchers' محدوده IP:
برای سایر آدرس‌های IP Google از جایی که ممکن است به سایت شما دسترسی داشته باشد (به عنوان مثال، Apps Scripts)، با آدرس IP دسترسی مطابقت دارد در برابر ژنرال فهرست آدرس‌های IP Google. توجه داشته باشید که آدرس‌های IP در فایل‌های JSON در نمایش داده می‌شوند قالب CIDR.