Google Search Central

راهنمای جامع سئو برای موتورهای جستجو

خانه> خزیدن و نمایه‌سازی> مدیریت خزنده‌ها> خزنده‌های گوگل> بررسی اجمالی

نمای کلی خزنده‌ها و واکشی‌های Google (عامل‌های کاربر)

Google از خزنده‌ها و واکشی‌ها برای انجام اقدامات برای محصولات خود، به صورت خودکار یا به‌صورت خودکار استفاده می‌کند توسط درخواست کاربر ایجاد می شود.

"خزنده» (گاهی اوقات "ربات" یا "عنکبوت" نیز نامیده می شود) یک اصطلاح عمومی برای هر برنامه ای است که برای کشف و اسکن خودکار وب سایت ها با دنبال کردن پیوندها از یک صفحه وب به استفاده می شود یکی دیگر. خزنده اصلی گوگل که برای جستجوی گوگل استفاده می شود نامیده می شود Googlebot.

Fetchers، مانند مرورگر، ابزارهایی هستند که در صورت درخواست کاربر، یک URL واحد درخواست می کنند.

جداول زیر خزنده‌ها و واکشی‌های Google را نشان می‌دهند که توسط محصولات و سرویس‌های مختلف استفاده می‌شوند. چگونه می توانید در گزارش های ارجاع دهنده خود مشاهده کنید و چگونه آنها را در آنها مشخص کنید robots.txt. لیست ها نیستند جامع، آنها فقط رایج ترین درخواست کنندگانی را که ممکن است در فایل های گزارش نشان داده شوند پوشش می دهند.

  • توکن عامل کاربر در خط User-agent: در robots.txt استفاده می شود برای مطابقت با نوع خزنده هنگام نوشتن قوانین خزیدن برای سایت شما. برخی از خزنده ها بیش از یک نشانه، همانطور که در جدول نشان داده شده است. برای یک قانون باید فقط یک توکن خزنده را مطابقت دهید درخواست دادن. این فهرست کامل نیست، اما بیشتر خزنده‌هایی را که ممکن است در وب‌سایت خود ببینید، پوشش می‌دهد.
  • رشته عامل کامل کاربر توضیح کاملی از خزنده است و در درخواست HTTP و گزارش های وب شما.

خزنده های متداول گوگل برای ایجاد شاخص های جستجوی گوگل و اجرای محصولات دیگر استفاده می شود. خزیدن خاص، و برای تجزیه و تحلیل. آنها همیشه از قوانین robots.txt پیروی می کنند و به طور کلی از آن می خزند محدوده IP منتشر شده در googlebot.json شی.

خزنده های رایج

Googlebot تلفن هوشمند

توکن عامل کاربر Googlebot
رشته کامل عامل کاربر Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googlebot رومیزی

توکن عامل کاربر Googlebot
رشته های عامل کاربر کامل
  • Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
  • به ندرت:
    • Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
    • Googlebot/2.1 (+http://www.google.com/bot.html)

تصویر Googlebot

برای خزیدن بایت های تصویر برای Google Images و محصولات وابسته به تصاویر استفاده می شود.

توکن های عامل کاربر
  • Googlebot-Image
  • Googlebot
رشته کامل عامل کاربر Googlebot-Image/1.0

اخبار Googlebot

Googlebot News از Googlebot برای خزیدن مقالات خبری استفاده می‌کند، اما به آن احترام می‌گذارد رمز عامل کاربر تاریخی Googlebot-News.

توکن های عامل کاربر
  • Googlebot-News
  • Googlebot
رشته کامل عامل کاربر عامل کاربر Googlebot-News از رشته های مختلف عامل کاربر Googlebot.

ویدیوی Googlebot

برای خزیدن بایت های ویدیو برای Google Video و محصولات وابسته به ویدیوها استفاده می شود.

توکن های عامل کاربر
  • Googlebot-Video
  • Googlebot
رشته کامل عامل کاربر Googlebot-Video/1.0

Google StoreBot

Google Storebot در انواع خاصی از صفحات می خزد، از جمله، اما نه محدود به، صفحات جزئیات محصول، صفحات سبد خرید و صفحات پرداخت.

توکن عامل کاربر Storebot-Google
رشته های عامل کاربر کامل
  • عامل دسکتاپ:
    Mozilla/5.0 (X11; Linux x86_64; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36
  • نمایندگی موبایل:
    Mozilla/5.0 (Linux; Android 8.0; Pixel 2 Build/OPD3.170816.012; Storebot-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Mobile Safari/537.36

Google-InspectionTool

Google-InspectionTool خزنده ای است که توسط ابزارهای تست جستجو مانند آزمون نتایج غنی و بازرسی URL در کنسول جستجو جدای از user agent و user agent token، از Googlebot تقلید می کند.

توکن عامل کاربر
  • Google-InspectionTool
  • Googlebot
رشته کامل عامل کاربر
  • سیار
    Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0;)
  • دسکتاپ
    Mozilla/5.0 (compatible; Google-InspectionTool/1.0;)

GoogleOther

GoogleOther خزنده عمومی است که ممکن است توسط تیم های مختلف محصول برای واکشی در دسترس عموم استفاده شود مطالب از سایت ها به عنوان مثال، ممکن است برای خزیدن یکباره برای تحقیقات داخلی و توسعه.

توکن عامل کاربر GoogleOther
رشته کامل عامل کاربر GoogleOther

Google-Extended

Google-Extendedتوکن محصول مستقلی است که ناشران وب می توانند از آن برای مدیریت کمک به سایت هایشان استفاده کنند APIهای تولید کننده هوش مصنوعی Bard و Vertex را بهبود بخشید، از جمله مدل های نسل های آینده که قدرت آن محصولات

توکن عامل کاربر Google-Extended
رشته کامل عامل کاربر Google-Extended یک رشته عامل کاربر درخواست HTTP جداگانه ندارد. خزیدن است با رشته های عامل کاربر موجود Google انجام شد. توکن کاربر-عامل robots.txt استفاده می شود در ظرفیت کنترل

خزنده‌های مورد خاص توسط محصولات خاصی استفاده می‌شوند که توافقی بین آن‌ها وجود دارد سایت خزیده شده و محصول در مورد فرآیند خزیدن. برای مثال، AdsBot نادیده می گیرد عامل کاربر جهانی robots.txt (*) با اجازه ناشر آگهی. را خزنده های مورد خاص ممکن است قوانین robots.txt را نادیده بگیرند و بنابراین از محدوده IP متفاوتی کار می کنند. نسبت به خزنده های معمولی محدوده IP در منتشر شده است شی special-crawlers.json.

خزنده های مورد خاص

APIs-Google

توسط Google API برای ارسال پیام‌های اعلان فشار استفاده می‌شود. عامل کاربر جهانی را نادیده می گیرد (*) در robots.txt.

توکن عامل کاربر APIs-Google
رشته کامل عامل کاربر APIs-Google (+https://developers.google.com/webmasters/APIs-Google.html)

AdsBot Mobile Web Android

اندروید را چک می کند کیفیت آگهی صفحه وب. عامل جهانی کاربر (*) را در robots.txt نادیده می گیرد.

توکن عامل کاربر AdsBot-Google-Mobile
رشته کامل عامل کاربر Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot Mobile Web

آیفون را چک می کند کیفیت آگهی صفحه وب. عامل جهانی کاربر (*) را در robots.txt نادیده می گیرد.

توکن عامل کاربر AdsBot-Google-Mobile
رشته کامل عامل کاربر Mozilla/5.0 (iPhone; CPU iPhone OS 14_7_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.2 Mobile/15E148 Safari/604.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)

AdsBot

دسکتاپ را بررسی می کند کیفیت آگهی صفحه وب. عامل جهانی کاربر (*) را در robots.txt نادیده می گیرد.

توکن عامل کاربر AdsBot-Google
رشته کامل عامل کاربر AdsBot-Google (+http://www.google.com/adsbot.html)

AdSense

خزنده AdSense از سایت شما بازدید می کند تا محتوای آن را تعیین کند تا مرتبط باشد تبلیغات عامل کاربر سراسری (*) را در robots.txt نادیده می گیرد.

توکن عامل کاربر Mediapartners-Google
رشته کامل عامل کاربر Mediapartners-Google

AdSense موبایل

خزنده موبایل AdSense از سایت شما بازدید می کند تا محتوای آن را تعیین کند تا ارائه دهد تبلیغات مرتبط عامل کاربر سراسری (*) را در robots.txt نادیده می گیرد.

توکن عامل کاربر Mediapartners-Google
رشته کامل عامل کاربر (Various mobile device types) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)

Google-Safety

عامل کاربر Google-Safety خزیدن مخصوص سوء استفاده، مانند کشف بدافزار برای پیوندهایی که به صورت عمومی در دارایی های گوگل پست شده اند. این عامل کاربر قوانین robots.txt را نادیده می گیرد.

رشته کامل عامل کاربر Google-Safety

واکشی‌های راه‌اندازی شده توسط کاربر توسط کاربران برای انجام یک عملکرد خاص محصول فعال می‌شوند. برای مثال، تأییدکننده سایت Google بر اساس درخواست کاربر عمل می کند. از آنجا که واکشی توسط یک کاربر درخواست شده است، این واکشی‌ها به طور کلی قوانین robots.txt را نادیده بگیرید. محدوده‌های IP که واکشی‌کننده‌های راه‌اندازی شده توسط کاربر استفاده می‌کنند در منتشر شده است user-triggered-fetchers.json هدف - شی.

واکشی‌های راه‌اندازی شده توسط کاربر

فیدفچر

Feedfetcher برای خزیدن فیدهای RSS یا Atom برای Google Podcasts، Google News و PubSubHubbub.

توکن عامل کاربر FeedFetcher-Google
رشته کامل عامل کاربر FeedFetcher-Google; (+http://www.google.com/feedfetcher.html)

Google Publisher Center

واکشی و پردازش فیدهایی که ناشران به صراحت ارائه کرده اند از طریق مرکز ناشر Google برای استفاده در صفحات فرود Google News.

رشته کامل عامل کاربر GoogleProducer; (+http://goo.gl/7y4SX)

Google Read Aloud

به درخواست کاربر، Google Read Aloud صفحات وب را با استفاده از تبدیل متن به گفتار واکشی و می خواند. (TTS).

رشته های عامل کاربر کامل

نمایندگان فعلی:

  • عامل دسکتاپ:
    Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)
  • نمایندگی موبایل:
    Mozilla/5.0 (Linux; Android 7.0; SM-G930V Build/NRD90M) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.125 Mobile Safari/537.36 (compatible; Google-Read-Aloud; +https://support.google.com/webmasters/answer/1061943)

نماینده سابق (منسوخ شده):

google-speakr

Google Site Verifier

Google Site Verifier به درخواست کاربر، نشانه‌های تأیید کنسول جستجو را واکشی می‌کند.

رشته کامل عامل کاربر Mozilla/5.0 (compatible; Google-Site-Verification/1.0)

هرجا که رشته Chrome/W.X.Y.Z را در عامل کاربر مشاهده کردید رشته ها در جدول، W.X.Y.Z در واقع یک مکان نگهدار است که نسخه را نشان می دهد. از مرورگر Chrome مورد استفاده توسط آن عامل کاربر: به عنوان مثال، 41.0.2272.96. این نسخه تعداد به مرور زمان افزایش خواهد یافت با آخرین نسخه منتشر شده Chromium که توسط Googlebot استفاده می‌شود مطابقت دهید.

اگر گزارش های خود را جستجو می کنید یا سرور خود را برای یک عامل کاربری با این الگو فیلتر می کنید، به جای مشخص کردن یک عدد دقیق، از حروف عام برای شماره نسخه استفاده کنید شماره نسخه

در جایی که چندین عامل کاربر در فایل robots.txt شناسایی می‌شوند، گوگل بیشترین موارد را دنبال می‌کند خاص اگر می‌خواهید تمام گوگل بتواند صفحات شما را بخزد، نیازی به این ندارید اصلا فایل robots.txt. اگر می‌خواهید دسترسی همه خزنده‌های Google را مسدود کنید یا اجازه دهید برخی از محتوای خود، می توانید این کار را با تعیین Googlebot به عنوان عامل کاربر انجام دهید. مثلا، اگر می‌خواهید همه صفحات شما در جستجوی Google ظاهر شوند و اگر می‌خواهید تبلیغات AdSense ظاهر شوند در صفحات خود، به فایل robots.txt نیاز ندارید. به همین ترتیب، اگر می خواهید برخی از صفحات را مسدود کنید به طور کلی از Google، مسدود کردن عامل کاربر Googlebot نیز همه را مسدود می کند سایر عوامل کاربر گوگل.

اما اگر می‌خواهید کنترل دقیق‌تری داشته باشید، می‌توانید دقیق‌تر عمل کنید. به عنوان مثال، شما ممکن است می‌خواهید همه صفحات شما در جستجوی Google ظاهر شوند، اما نمی‌خواهید تصاویر در صفحه شخصی‌تان باشد دایرکتوری برای خزیدن در این مورد، از robots.txt برای غیر مجاز کردن استفاده کنید Googlebot-Image عامل کاربر از خزیدن فایل‌ها در فهرست شخصی شما (در حالی که به Googlebot اجازه می دهد همه فایل ها را بخزد)، مانند این:

User-agent: Googlebot
Disallow:

User-agent: Googlebot-Image
Disallow: /personal

برای مثال دیگر، بگویید که می خواهید در تمام صفحات خود تبلیغات داشته باشید، اما آنها را نمی خواهید. صفحاتی که در جستجوی گوگل ظاهر می شوند. در اینجا، Googlebot را مسدود می‌کنید، اما اجازه می‌دهید Mediapartners-Google عامل کاربر، مانند این:

User-agent: Googlebot
Disallow: /

User-agent: Mediapartners-Google
Disallow:

هر خزنده گوگل برای هدفی خاص و با نرخ های متفاوت به سایت ها دسترسی دارد. گوگل استفاده می کند الگوریتم هایی برای تعیین نرخ خزیدن بهینه برای هر سایت. اگر یک خزنده گوگل در حال خزیدن است سایت شما اغلب، شما می توانید نرخ خزیدن را کاهش دهید.

خزنده‌های Google زیر دیگر مورد استفاده قرار نمی‌گیرند، و فقط برای مرجع تاریخی در اینجا ذکر شده‌اند.

خزنده های بازنشسته گوگل

دوبلکس در وب

از Duplex در وب سرویس پشتیبانی می کند.

توکن عامل کاربر DuplexWeb-Google
رشته کامل عامل کاربر Mozilla/5.0 (Linux; Android 11; Pixel 2; DuplexWeb-Google/1.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.193 Mobile Safari/537.36

نور وب

هدر no-transform را هر زمان که کاربر کلیک کرد بررسی می‌شود صفحه شما در شرایط مناسب در جستجو است. فقط از عامل وب لایت استفاده شد برای درخواست‌های مرور صریح یک بازدیدکننده انسانی، و بنابراین قوانین robots.txt را نادیده گرفت، که برای مسدود کردن درخواست‌های خزیدن خودکار استفاده می‌شوند.

توکن عامل کاربر googleweblight
رشته کامل عامل کاربر Mozilla/5.0 (Linux; Android 4.2.1; en-us; Nexus 5 Build/JOP40D) AppleWebKit/535.19 (KHTML, like Gecko; googleweblight) Chrome/38.0.1025.166 Mobile Safari/535.19

برنامه های موبایل اندروید

صفحه برنامه اندروید را بررسی می کند کیفیت آگهی. از AdsBot-Google قوانین روبات پیروی می کند، اما جهانی را نادیده می گیرد عامل کاربر (*) در robots.txt.

توکن عامل کاربر AdsBot-Google-Mobile-Apps
رشته کامل عامل کاربر AdsBot-Google-Mobile-Apps

Google Favicon

توکن عامل کاربر
  • Googlebot-Image
  • Googlebot
رشته کامل عامل کاربر Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36 Google Favicon
منبع اطلاعات این صفحه راهنمای رسمی گوگل برای اصول سئو، صفحه می‌باشد.
آخرین بروزرسانی اطلاعات این صفحه در
این صفحه در حال تکمیل است.