Google Search Central

راهنمای جامع سئو برای موتورهای جستجو

خانه> خزیدن و نمایه‌سازی> robots.txt> بررسی robots.txt

مقدمه ای بر روبات ها.txt

یک فایل robots.txt به خزنده های موتورهای جستجو می گوید که خزنده به کدام URL ها می تواند در سایت شما دسترسی داشته باشد. این عمدتا برای جلوگیری از بارگذاری بیش از حد سایت شما با درخواست ها استفاده می شود. این یک نیست مکانیسمی برای دور نگه داشتن یک صفحه وب از Google. برای دور نگه داشتن یک صفحه وب از گوگل، نمایه سازی را با noindex مسدود کنید یا صفحه را با رمز عبور محافظت کنید.

یک فایل robots.txt در درجه اول برای مدیریت ترافیک خزنده به سایت شما استفاده می شود معمولا برای نگه داشتن یک فایل از Google، بسته به نوع فایل:

اثر robots.txt بر روی انواع فایل های مختلف
صفحه وب

می توانید از فایل robots.txt برای صفحات وب (HTML، PDF یا موارد دیگر) استفاده کنید قالب‌های غیر رسانه‌ای که Google می‌تواند بخواند)، برای مدیریت ترافیک خزنده اگر فکر می کنید سرور شما تحت تأثیر درخواست ها قرار می گیرد از خزنده Google یا برای جلوگیری از خزیدن صفحات بی اهمیت یا مشابه در سایت خود.

اگر صفحه وب شما با فایل robots.txt مسدود شده باشد، URL آن همچنان می تواند در نتایج جستجو ظاهر می شود، اما نتیجه جستجو خواهد بود توضیح ندارد. فایل‌های تصویری، فایل‌های ویدیویی، فایل‌های PDF و سایر فایل‌های غیرHTML تعبیه‌شده در صفحه مسدود شده، این کار را انجام خواهند داد از خزیدن نیز مستثنی شوند، مگر اینکه توسط صفحات دیگری که مجاز هستند ارجاع داده شوند. برای خزیدن اگر این نتیجه جستجو را برای صفحه خود می بینید و می خواهید آن را برطرف کنید، آن را حذف کنید ورودی robots.txt صفحه را مسدود می کند. اگر می خواهید صفحه را به طور کامل از جستجو پنهان کنید، استفاده کنید روش دیگری.

فایل رسانه ای

از یک فایل robots.txt برای مدیریت ترافیک خزیدن و همچنین جلوگیری از تصویر، ویدیو و فایل های صوتی از ظاهر شدن در نتایج جستجوی گوگل. این مانع از صفحات دیگر یا کاربران از پیوند دادن به تصویر، ویدیو یا فایل صوتی شما.

فایل منبع می‌توانید از فایل robots.txt برای مسدود کردن فایل‌های منابع مانند تصویر بی‌اهمیت، اسکریپت، استفاده کنید. یا فایل‌های سبک، اگر فکر می‌کنید صفحاتی که بدون این منابع بارگیری می‌شوند، بارگذاری نمی‌شوند به طور قابل توجهی تحت تأثیر زیان قرار می گیرند. با این حال، اگر عدم وجود این منابع درک صفحه را برای خزنده گوگل سخت تر می کند، مسدود نکنید در غیر این صورت گوگل کار خوبی در تجزیه و تحلیل صفحات وابسته به آن انجام نمی دهد آن منابع

قبل از ایجاد یا ویرایش فایل robots.txt، باید محدودیت‌های مسدود کردن URL را بدانید روش. بسته به اهداف و موقعیت خود، ممکن است بخواهید مکانیسم های دیگری را در نظر بگیرید اطمینان حاصل کنید که URL های شما در وب قابل یافتن نیستند.

  • قوانین robots.txt ممکن است توسط همه موتورهای جستجو پشتیبانی نشوند.
    دستورالعمل‌های موجود در فایل‌های robots.txt نمی‌توانند رفتار خزنده را در سایت شما اعمال کنند. تمام شد به خزنده که از آنها اطاعت کند. در حالی که Googlebot و سایر خزنده‌های وب معتبر از این قانون پیروی می‌کنند دستورالعمل‌های موجود در فایل robots.txt، ممکن است خزنده‌های دیگر نباشند. بنابراین، اگر می خواهید حفظ کنید اطلاعات ایمن از خزنده های وب، بهتر است از سایر روش های مسدود کردن استفاده کنید، مانند فایل های خصوصی محافظت از رمز عبور در سرور شما.
  • خزنده‌های مختلف نحو متفاوتی را تفسیر می‌کنند.
    اگرچه خزنده های وب محترم از قوانین موجود در فایل robots.txt پیروی می کنند، اما هر خزنده ممکن است قوانین را متفاوت تفسیر کند. شما باید بدانید نحو مناسب برای آدرس دهی خزنده های وب مختلف، زیرا برخی ممکن است دستورالعمل های خاصی را درک نکنند.
  • صفحه‌ای که در robots.txt مجاز نیست اگر از سایت‌های دیگر پیوند داده شود، همچنان فهرست می‌شود.
    در حالی که Google محتوای مسدود شده توسط یک فایل robots.txt را نمی‌خزد یا فهرست نمی‌کند، ممکن است همچنان اگر یک URL غیرمجاز از مکان های دیگر در وب پیوند داده شده باشد، پیدا کنید و فهرست کنید. در نتیجه، آدرس URL و احتمالاً سایر اطلاعات در دسترس عموم مانند متن لنگر در پیوندهای صفحه همچنان می تواند در نتایج جستجوی Google ظاهر شود. برای جلوگیری درست از URL شما از ظاهر شدن در نتایج جستجوی گوگل، فایل های سرور خود را با رمز عبور محافظت کنید، از تگ noindex meta یا سرصفحه پاسخ استفاده کنید، یا صفحه را به طور کامل حذف کنید.

اگر تصمیم گرفتید که به یکی نیاز دارید، یاد بگیرید که چگونه این کار را انجام دهید یک فایل robots.txt ایجاد کنید. یا اگر شما قبلاً یکی دارید، یاد بگیرید که چگونه آن را به روز کنید.

یک فایل robots.txt در ریشه سایت شما قرار دارد. یاد بگیرید که چگونه یک فایل robots.txt ایجاد کنید، نمونه ها را ببینید و قوانین robots.txt را بررسی کنید.

به روز شده 28 نوامبر 2023

با گزارش robots.txt، می‌توانید به راحتی بررسی کنید که آیا Google می‌تواند فایل‌های robots.txt شما را پردازش کند یا خیر. برای ارسال فایل‌های robots.txt به‌روز شده به Google، این مراحل را دنبال کنید.

به روز شده 28 نوامبر 2023

جزئیات خاصی را در مورد قوانین مختلف فایل robots.txt و نحوه تفسیر Google مشخصات robots.txt بیاموزید.

به روز شده 28 نوامبر 2023
منبع اطلاعات این صفحه راهنمای رسمی گوگل برای اصول سئو، صفحه می‌باشد.
آخرین بروزرسانی اطلاعات این صفحه در
این صفحه در حال تکمیل است.