Google Search Central

راهنمای جامع سئو برای موتورهای جستجو

خانه> خزیدن و نمایه‌سازی> متادیتای صفحه و محتوا> تگ متا> متا تگ ربات ها

Robots meta برچسب، data-nosnippet، و X-Robots-Tag مشخصات

این سند نحوه استفاده از تنظیمات سطح صفحه و متن را برای تنظیم نحوه Google توضیح می دهد محتوای شما را در نتایج جستجو ارائه می دهد. می توانید تنظیمات سطح صفحه را با قرار دادن a مشخص کنید تگ meta در صفحات HTML یا در هدر HTTP. می توانید تنظیمات سطح متن را با ویژگی data-nosnippet در عناصر HTML در یک صفحه.

به خاطر داشته باشید که این تنظیمات فقط در صورتی قابل خواندن و پیگیری هستند که خزنده ها مجاز باشند به صفحاتی که شامل این تنظیمات هستند دسترسی داشته باشید.

قانون <meta name="robots" content="noindex"> برای موتور جستجو اعمال می شود خزنده ها برای مسدود کردن خزنده های غیرجستجو، مانند AdsBot-Google، ممکن است لازم باشد قوانینی را که به موارد خاص هدف گذاری شده اند اضافه کنید خزنده (به عنوان مثال، <meta name="AdsBot-Google" content="noindex">).

راrobots metaتگ به شما امکان می دهد از یک رویکرد گرانول و مختص صفحه برای کنترل چگونگی استفاده از یک صفحه استفاده کنید صفحه فردی باید ایندکس شود و در نتایج جستجوی گوگل به کاربران ارائه شود. قرار دادن robots metaبرچسب در بخش <head> یک صفحه معین، مانند این: 

<!DOCTYPE html>
<html><head>
<meta name="robots" content="noindex">
(…)
</head>
<body>(…)</body>
</html>

در این مثال،robots metaتگ به جستجو دستور می دهد موتورها صفحه را در نتایج جستجو نشان ندهند. مقدار ویژگی name (robots) مشخص می کند که این قانون برای همه خزنده ها اعمال می شود. هر دو name و ویژگی های content به حروف بزرگ و کوچک حساس نیستند. برای پرداختن به یک خزنده خاص، مقدار robots ویژگی name را با توکن عامل کاربر جایگزین کنید. از خزنده ای که شما به آن اشاره می کنید. گوگل از دو توکن عامل کاربر در آن پشتیبانی می کند robots metaبرچسب سایر مقادیر نادیده گرفته می شوند:

  1. googlebot: برای همه نتایج متن.
  2. googlebot-news: برای نتایج اخبار.

به عنوان مثال، به گوگل دستور دهید که صفحه ای را در نتایج جستجوی خود نشان ندهد، می توانید googlebot را به عنوان نام تگ meta مشخص کنید: 

<meta name="googlebot" content="noindex">

برای نمایش یک صفحه در نتایج جستجوی وب Google، اما نه در Google News، از آن استفاده کنید برچسب googlebot-news meta: 

<meta name="googlebot-news" content="noindex">

برای تعیین چند خزنده به صورت جداگانه، از چندگانه استفاده کنیدrobots metaبرچسب ها: 

<meta name="googlebot" content="noindex">
<meta name="googlebot-news" content="nosnippet">

برای جلوگیری از نمایه سازی منابع غیر HTML، مانند فایل های PDF، فایل های ویدئویی یا فایل های تصویری، به جای آن از X-Robots-Tag سرصفحه پاسخ استفاده کنید.

X-Robots-Tag را می توان به عنوان عنصری از هدر HTTP استفاده کرد پاسخ برای یک URL داده شده هر قاعده ای که می تواند در استفاده شودrobots metaتگ نیز می تواند باشد به عنوان X-Robots-Tag مشخص شده است. در اینجا یک نمونه از HTTP است پاسخ با X-Robots-Tag که به خزنده‌ها دستور می‌دهد که a را ایندکس نکنند صفحه: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noindex
(…)

چندین سرصفحه X-Robots-Tag را می توان در HTTP ترکیب کرد پاسخ دهید، یا می توانید لیستی از قوانین جدا شده با کاما را مشخص کنید. در اینجا یک نمونه از یک پاسخ هدر HTTP که دارای یک noarchive X-Robots-Tag همراه با یک است unavailable_after X-Robots-Tag. 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: noarchive
X-Robots-Tag: unavailable_after: 25 Jun 2010 15:00:00 PST
(…)

X-Robots-Tag ممکن است به صورت اختیاری یک عامل کاربر را قبل از قوانین. به عنوان مثال، مجموعه زیر از X-Robots-Tag HTTP هدرها را می توان برای نمایش مشروط یک صفحه در نتایج جستجو برای موارد مختلف مورد استفاده قرار داد موتورهای جستجو: 

HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
(…)
X-Robots-Tag: googlebot: nofollow
X-Robots-Tag: otherbot: noindex, nofollow
(…)

قوانین مشخص شده بدون عامل کاربر برای همه خزنده ها معتبر است. هدر HTTP، نام عامل کاربر و مقادیر مشخص شده به حروف بزرگ و کوچک حساس نیستند.

قوانین زیر نیز موجود است قالب قابل خواندن توسط ماشین، می تواند برای کنترل نمایه سازی و ارائه یک قطعه با robots metaتگ و X-Robots-Tag. هر مقدار یک مقدار خاص را نشان می دهد قانون. چند قانون ممکن است ترکیب شوند در یک کاما از هم جدا شوند فهرست یا در تگ های meta جداگانه. این قوانین به حروف بزرگ و کوچک حساس نیستند.

قوانین

all

 هیچ محدودیتی برای نمایه سازی یا ارائه خدمات وجود ندارد. این قانون مقدار پیش فرض و است اگر به صراحت در لیست ذکر شده باشد، تأثیری ندارد.

noindex

این صفحه، رسانه یا منبع را در نتایج جستجو نشان ندهید. اگر این را مشخص نکنید طبق قانون، صفحه، رسانه یا منبع ممکن است نمایه شود و در نتایج جستجو نشان داده شود.

برای حذف اطلاعات از Google، ما را دنبال کنید راهنمای گام به گام.

nofollow

 لینک های این صفحه را دنبال نکنید. اگر این قانون را مشخص نکنید، Google ممکن است از آن استفاده کند پیوندهای موجود در صفحه برای کشف آن صفحات پیوند داده شده. بیشتر بدانید nofollow.

none

 معادل . noindex, nofollow

noarchive

 الف را نشان ندهید پیوند حافظه پنهان در نتایج جستجو اگر این قانون را مشخص نکنید، ممکن است Google یک صفحه کش ایجاد کند و کاربران می توانند از طریق نتایج جستجو به آن دسترسی داشته باشند.

nositelinkssearchbox

کادر جستجوی پیوندهای سایت را نشان ندهید در نتایج جستجوی این صفحه اگر این قانون را مشخص نکنید، Google ممکن است یک جعبه جستجوی خاص برای سایت خود در نتایج جستجو، همراه با سایر پیوندهای مستقیم به سایت خود ایجاد کنید.

nosnippet

یک قطعه متن یا پیش‌نمایش ویدیو در نتایج جستجوی این صفحه نشان داده نشود. آ تصویر کوچک تصویر ثابت (در صورت موجود بودن) ممکن است همچنان قابل مشاهده باشد، در صورتی که نتیجه بهتری داشته باشد تجربه ی کاربر. این برای همه اشکال نتایج جستجو (در گوگل: جستجوی وب، Google Images، Discover). مرورهای Google SGE همچنین محتوای مسدود شده با استفاده از nosnippet را نشان نمی دهد.

اگر این قانون را مشخص نکنید، Google ممکن است یک قطعه متن و یک ویدیو ایجاد کند پیش نمایش بر اساس اطلاعات موجود در صفحه.

indexifembedded

گوگل مجاز است محتوای یک صفحه را در صورتی که در صفحه دیگری جاسازی شده باشد فهرست کند از طریق iframes یا برچسب‌های HTML مشابه، علی‌رغم قانون noindex.

indexifembedded فقط در صورتی اثر دارد که همراه باشد noindex.

max-snippet:[عدد]

از حداکثر [تعداد] کاراکتر به عنوان یک قطعه متنی برای این نتیجه جستجو استفاده کنید. (توجه داشته باشید که یک URL ممکن است به عنوان چندین نتیجه جستجو در یک صفحه نتایج جستجو ظاهر شود.) این بر پیش نمایش تصویر یا ویدیو تأثیر نمی گذارد. این برای همه اشکال نتایج جستجو صدق می کند (مانند جستجوی وب Google، Google Images، Discover، Assistant). مروری بر SGE گوگل همچنین محتوای بیش از حد مشخص شده را نشان نمی دهد. با این حال، این محدودیت در مواردی که ناشر به طور جداگانه اجازه استفاده از آن را صادر کرده است، اعمال نمی شود محتوا. به عنوان مثال، اگر ناشر محتوا را به صورت درون صفحه ارائه کند داده های ساخت یافته یا دارای قرارداد مجوز با Google است، این تنظیم قطع نمی شود آن کاربردهای مجاز خاص تر اگر [عدد] قابل تجزیه نباشد، این قانون نادیده گرفته می شود مشخص شده است.

اگر این قانون را مشخص نکنید، Google طول قطعه را انتخاب می کند.

مقادیر ویژه:

  • 0: هیچ قطعه ای نمایش داده نمی شود. معادل با nosnippet.
  • -1: Google طول قطعه را انتخاب می کند بر این باور است که برای کمک به کاربران برای کشف محتوای شما و هدایت کاربران به آن موثرترین است سایت شما.

مثال ها:

برای جلوگیری از نمایش یک قطعه در نتایج جستجو:

<meta name="robots" content="max-snippet:0">

برای نمایش حداکثر 20 کاراکتر در قطعه:

<meta name="robots" content="max-snippet:20">

برای مشخص کردن اینکه هیچ محدودیتی در تعداد کاراکترهایی که می‌توانند در آن نشان داده شوند وجود ندارد قطعه: 

<meta name="robots" content="max-snippet:-1">

max-image-preview:[تنظیمات]

حداکثر اندازه پیش نمایش تصویر را برای این صفحه در نتایج جستجو تنظیم کنید.

اگر قانون max-image-preview را مشخص نکنید، ممکن است Google یک پیش نمایش تصویر با اندازه پیش فرض

مقادیر [تنظیم] پذیرفته شده:

  • none: هیچ پیش نمایش تصویری نشان داده نمی شود.
  • standard: ممکن است پیش نمایش تصویر پیش فرض نشان داده شود.
  • large: پیش نمایش تصویر بزرگتر، تا عرض نمای، ممکن است نشان داده شود.

این برای همه اشکال نتایج جستجو (مانند جستجوی وب گوگل، تصاویر گوگل، کشف، دستیار). اما این محدودیت در مواردی که ناشر داشته باشد اعمال نمی شود به طور جداگانه مجوز استفاده از محتوا را صادر کرد. به عنوان مثال، اگر ناشر محتوا را به شکل داده های ساختار یافته درون صفحه (مانند AMP و canonical) ارائه می کند نسخه‌های یک مقاله) یا دارای توافقنامه مجوز با Google است، این تنظیم وجود ندارد آن کاربردهای مجاز خاص تر را قطع کنید.

اگر نمی‌خواهید Google هنگام صفحات AMP از تصاویر کوچک‌تر استفاده کند و نسخه متعارف یک مقاله در جستجو یا کشف نشان داده شده است، a را مشخص کنید max-image-preview مقدار standard یا none.

مثال:

<meta name="robots" content="max-image-preview:standard">

max-video-preview:[عدد]

از حداکثر [تعداد] ثانیه به عنوان یک قطعه ویدیو برای ویدیوهای این صفحه در جستجو استفاده کنید نتایج.

اگر قانون max-video-preview را مشخص نکنید، ممکن است Google یک قطعه ویدیویی در نتایج جستجو قرار می‌گیرد و تصمیم گیری برای مدت زمان آن را به گوگل واگذار می‌کنید پیش نمایش ممکن است.

مقادیر ویژه:

  • 0: حداکثر ممکن است از یک تصویر ثابت مطابق با استفاده شود تنظیم max-image-preview.
  • -1: محدودیتی وجود ندارد.

این برای همه اشکال نتایج جستجو (در گوگل: جستجوی وب، تصاویر گوگل، Google Videos، Discover، Assistant). اگر [عدد] قابل تجزیه نباشد، این قانون نادیده گرفته می شود مشخص شده است.

مثال:

<meta name="robots" content="max-video-preview:-1">

notranslate

 ترجمه این صفحه را در نتایج جستجو پیشنهاد نکنید. اگر این را مشخص نکنید قانون، گوگل ممکن است یک را ارائه دهد ترجمه پیوند عنوان و قطعه یک نتیجه جستجو برای نتایجی که به زبان نیستند از عبارت جستجو اگر کاربر روی پیوند عنوان ترجمه کلیک کند، همه کاربر بعدی تعامل با صفحه از طریق Google Translate است که به صورت خودکار ترجمه می شود هر پیوندی دنبال شد

noimageindex

 تصاویر را در این صفحه فهرست نکنید. اگر این مقدار را مشخص نکرده اید، تصاویر در صفحه ممکن است نمایه شود و در نتایج جستجو نشان داده شود.

unavailable_after: [تاریخ/زمان]

این صفحه را بعد از تاریخ/زمان مشخص شده در نتایج جستجو نشان ندهید. تاریخ/زمان باید در قالبی که به طور گسترده پذیرفته شده است، از جمله، اما نه محدود به، مشخص شود RFC 822، RFC 850 و ISO 8601. اگر تاریخ/زمان معتبری مشخص نشده باشد، این قانون نادیده گرفته می شود. به طور پیش فرض وجود ندارد تاریخ انقضا برای محتوا

اگر این قانون را مشخص نکنید، این صفحه ممکن است در نتایج جستجو نشان داده شود به طور نامحدود Googlebot نرخ خزیدن URL را به میزان قابل توجهی پس از تعیین شده کاهش می دهد تاریخ و زمان.

مثال:

<meta name="robots" content="unavailable_after: 2020-09-21">

می توانید با ترکیب کردن یک دستورالعمل چند قانون ایجاد کنیدrobots meta قوانین برچسب را با کاما یا با استفاده از چندین تگ meta تگ کنید. در اینجا نمونه ای از آورده شده استrobots metaبرچسبی که به خزنده‌های وب دستور می‌دهد تا ایندکس نکنند صفحه و برای خزیدن هیچ یک از پیوندهای موجود در صفحه:

لیست جدا شده با کاماچند meta برچسب
 
<meta name="robots" content="noindex, nofollow">
 
<meta name="robots" content="noindex">
<meta name="robots" content="nofollow">

در اینجا یک مثال است که قطعه متن را به 20 کاراکتر محدود می کند و اجازه می دهد یک تصویر بزرگ داشته باشید پیش نمایش: 

<meta name="robots" content="max-snippet:20, max-image-preview:large">

برای موقعیت هایی که خزنده های متعدد همراه با قوانین مختلف مشخص شده اند، موتور جستجو از مجموع قوانین منفی استفاده خواهد کرد. مثلا:

<meta name="robots" content="nofollow">
<meta name="googlebot" content="noindex">

صفحه حاوی این تگ‌های meta به‌عنوان یک علامت تعبیر می‌شود قانون noindex, nofollow هنگامی که توسط Googlebot خزیده می شود.

می‌توانید قسمت‌های متنی یک صفحه HTML را تعیین کنید که به عنوان یک قطعه استفاده نشود. این کار قابل انجام است در سطح عنصر HTML با ویژگی HTML data-nosnippet روشن است span، div، و عناصر section. data-nosnippet الف در نظر گرفته می شود ویژگی بولی. مانند تمام ویژگی های بولی، هر مقدار مشخص شده نادیده گرفته می شود. برای اطمینان از خوانایی ماشینی، بخش HTML باید HTML معتبر باشد و تمام تگ های مناسب باید بسته شوند.

مثال ها:

<p>This text can be shown in a snippet
<span data-nosnippet>and this part would not be shown</span>.</p>

<div data-nosnippet>not in snippet</div>
<div data-nosnippet="true">also not in snippet</div>
<div data-nosnippet="false">also not in snippet</div>
<!-- all values are ignored -->

<div data-nosnippet>some text</html>
<!-- unclosed "div" will include all content afterwards -->

<mytag data-nosnippet>some text</mytag>
<!-- NOT VALID: not a span, div, or section -->

Google معمولاً صفحات را به منظور فهرست کردن آنها رندر می کند، اما رندر تضمین نمی شود. به همین دلیل، استخراج data-nosnippet ممکن است هر دو اتفاق بیفتد قبل و بعد از رندرینگ برای جلوگیری از عدم قطعیت در ارائه، از اضافه یا حذف آن خودداری کنید data-nosnippet ویژگی گره های موجود از طریق جاوا اسکریپت. هنگامی که عناصر DOM را از طریق جاوا اسکریپت اضافه می کنید، شامل data-nosnippet مشخصه را در صورت لزوم هنگام اضافه کردن اولیه عنصر به DOM صفحه. اگر از عناصر سفارشی استفاده می شود، آنها را با آن بپیچید یا رندر کنید div، span، یا در صورت نیاز از عناصر section استفاده کنید data-nosnippet.

Robots metaبرچسب‌های بر میزان محتوایی که Google به طور خودکار از وب استخراج می‌کند، کنترل می‌کند صفحاتی برای نمایش به عنوان نتایج جستجو اما بسیاری از ناشران از داده های ساختاری schema.org نیز استفاده می کنند برای در دسترس قرار دادن اطلاعات خاص برای جستجوی ارائه. Robots metaتگ محدودیت ها بر استفاده از آن داده های ساختاریافته تأثیر نمی گذارد، به استثنای article.description و description مقادیر برای داده های ساختاریافته مشخص شده برای سایرین کارهای خلاقانه برای تعیین حداکثر طول یک پیش نمایش بر اساس آنها از مقادیر description استفاده کنید قانون max-snippet. مثلا، recipe داده‌های ساختاریافته در یک صفحه برای درج در صفحه واجد شرایط هستند چرخ و فلک دستور غذا، حتی اگر پیش نمایش متن در غیر این صورت محدود باشد. می توانید طول را محدود کنید پیش نمایش متن با max-snippet، اما آن robots metaبرچسب زدن زمانی که اطلاعات با استفاده از داده های ساختاریافته برای نتایج غنی ارائه می شود، اعمال نمی شود.

برای مدیریت استفاده از داده های ساخت یافته برای صفحات وب خود، انواع داده های ساخت یافته را تغییر دهید ارزش خود را، اضافه کردن یا حذف اطلاعات به منظور ارائه تنها داده های شما می خواهید در دسترس قرار دادن همچنین توجه داشته باشید که داده های ساخت یافته برای نتایج جستجو قابل استفاده باقی می مانند در یک عنصر data-nosnippet اعلام شده است.

می‌توانید X-Robots-Tag را به پاسخ‌های HTTP سایت اضافه کنید. فایل های پیکربندی نرم افزار وب سرور سایت شما. به عنوان مثال، در وب مبتنی بر آپاچی سرورهایی که می توانید از فایل های htaccess. و httpd.conf استفاده کنید. مزیت استفاده از یک X-Robots-Tag با پاسخ‌های HTTP این است که می‌توانید خزیدن را مشخص کنید قوانینی که به صورت جهانی در سراسر یک سایت اعمال می شوند. پشتیبانی از عبارات منظم اجازه می دهد سطح بالایی از انعطاف پذیری

به عنوان مثال، برای افزودن یک noindex, nofollow X-Robots-Tag به پاسخ HTTP برای همه فایل‌های .PDF در یک کل سایت، قطعه زیر را به فایل ریشه .htaccess سایت یا فایل httpd.conf در سایت اضافه کنید آپاچی یا فایل .conf سایت در NGINX.

آپاچیNGINX
 
<Files ~ "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>
 
location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

می‌توانید از X-Robots-Tag برای فایل‌های غیرHTML مانند فایل‌های تصویری استفاده کنید جایی که استفاده از robots metaتگ های در HTML امکان پذیر نیست. در اینجا مثالی از افزودن a آورده شده است noindex X-Robots-Tag قانون برای فایل های تصاویر (.png، .jpeg، .jpg، .gif) در کل سایت:

آپاچیNGINX
 
<Files ~ "\.(png|jpe?g|gif)$">
  Header set X-Robots-Tag "noindex"
</Files>
 
location ~* \.(png|jpe?g|gif)$ {
  add_header X-Robots-Tag "noindex";
}

همچنین می‌توانید سرصفحه‌های X-Robots-Tag را برای فایل‌های استاتیک جداگانه تنظیم کنید:

آپاچیNGINX
 
# the htaccess file must be placed in the directory of the matched file.
<Files "unicorn.pdf">
  Header set X-Robots-Tag "noindex, nofollow"
</Files>
 
location = /secrets/unicorn.pdf {
  add_header X-Robots-Tag "noindex, nofollow";
}

robots metaبرچسب‌های و X-Robots-Tag سرصفحه‌های HTTP زمانی کشف می‌شوند یک URL خزیده می شود. اگر صفحه ای از خزیدن در فایل robots.txt منع شده باشد، هر کدام اطلاعات مربوط به فهرست بندی یا ارائه قوانین یافت نمی شود و بنابراین پیدا خواهد شد نادیده گرفته شده است. اگر قوانین نمایه سازی یا ارائه خدمات باید رعایت شود، URL های حاوی این قوانین قوانین را نمی توان از خزیدن منع کرد.

منبع اطلاعات این صفحه راهنمای رسمی گوگل برای اصول سئو، صفحه می‌باشد. این محتوا توسط گوگل تهیه شده و تحت مجوز Creative Commons Attribution 4.0 منتشر شده است و با همین مجوز توسط من ترجمه و منتشر می‌شود.
Last updated UTC.
Last updated in Google UTC.