مقدمه ای بر روبات ها.txt

یک فایل robots.txt به خزنده های موتورهای جستجو می گوید که خزنده به کدام URL ها می تواند در سایت شما دسترسی داشته باشد. این عمدتا برای جلوگیری از بارگذاری بیش از حد سایت شما با درخواست ها استفاده می شود. این یک نیست مکانیسمی برای دور نگه داشتن یک صفحه وب از Google. برای دور نگه داشتن یک صفحه وب از گوگل، نمایه سازی را با noindex مسدود کنید یا صفحه را با رمز عبور محافظت کنید.

روبات چیست.فایل txt برای چه استفاده می شود؟

یک فایل robots.txt در درجه اول برای مدیریت ترافیک خزنده به سایت شما استفاده می شود معمولا برای نگه داشتن یک فایل از Google، بسته به نوع فایل:

محدودیت‌های روبات‌ها را درک کنید.فایل txt

قبل از ایجاد یا ویرایش فایل robots.txt، باید محدودیت‌های مسدود کردن URL را بدانید روش. بسته به اهداف و موقعیت خود، ممکن است بخواهید مکانیسم های دیگری را در نظر بگیرید اطمینان حاصل کنید که URL های شما در وب قابل یافتن نیستند.

• قوانین robots.txt ممکن است توسط همه موتورهای جستجو پشتیبانی نشوند.
  دستورالعمل‌های موجود در فایل‌های robots.txt نمی‌توانند رفتار خزنده را در سایت شما اعمال کنند. تمام شد به خزنده که از آنها اطاعت کند. در حالی که Googlebot و سایر خزنده‌های وب معتبر از این قانون پیروی می‌کنند دستورالعمل‌های موجود در فایل robots.txt، ممکن است خزنده‌های دیگر نباشند. بنابراین، اگر می خواهید حفظ کنید اطلاعات ایمن از خزنده های وب، بهتر است از سایر روش های مسدود کردن استفاده کنید، مانند فایل های خصوصی محافظت از رمز عبور در سرور شما.
• خزنده‌های مختلف نحو متفاوتی را تفسیر می‌کنند.
  اگرچه خزنده های وب محترم از قوانین موجود در فایل robots.txt پیروی می کنند، اما هر خزنده ممکن است قوانین را متفاوت تفسیر کند. شما باید بدانید نحو مناسب برای آدرس دهی خزنده های وب مختلف، زیرا برخی ممکن است دستورالعمل های خاصی را درک نکنند.
• صفحه‌ای که در robots.txt مجاز نیست اگر از سایت‌های دیگر پیوند داده شود، همچنان فهرست می‌شود.
  در حالی که Google محتوای مسدود شده توسط یک فایل robots.txt را نمی‌خزد یا فهرست نمی‌کند، ممکن است همچنان اگر یک URL غیرمجاز از مکان های دیگر در وب پیوند داده شده باشد، پیدا کنید و فهرست کنید. در نتیجه، آدرس URL و احتمالاً سایر اطلاعات در دسترس عموم مانند متن لنگر در پیوندهای صفحه همچنان می تواند در نتایج جستجوی Google ظاهر شود. برای جلوگیری درست از URL شما از ظاهر شدن در نتایج جستجوی گوگل، فایل های سرور خود را با رمز عبور محافظت کنید، از تگ noindex meta یا سرصفحه پاسخ استفاده کنید، یا صفحه را به طور کامل حذف کنید.

یک فایل robots.txt ایجاد یا به روز کنید

اگر تصمیم گرفتید که به یکی نیاز دارید، یاد بگیرید که چگونه این کار را انجام دهید یک فایل robots.txt ایجاد کنید. یا اگر شما قبلاً یکی دارید، یاد بگیرید که چگونه آن را به روز کنید.