روبات های خود را به روز کنید.فایل txt

برای به‌روزرسانی قوانین موجود در فایل robots.txt، یک نسخه از فایل robots.txt خود را دانلود کنید از سایت خود استفاده کنید و ویرایش های لازم را انجام دهید.

روبات های خود را دانلود کنید.فایل txt

می توانید فایل robots.txt خود را به روش های مختلفی دانلود کنید، به عنوان مثال:

• به فایل robots.txt خود بروید، برای مثال https://example.com/robots.txt و محتویات آن را در یک فایل متنی جدید در رایانه کپی کنید. مطمئن شوید که دستورالعمل ها را دنبال می کنید مربوط به قالب فایل هنگام ایجاد فایل محلی جدید
• یک کپی واقعی از فایل robots.txt خود را با ابزاری مانند cURL دانلود کنید. مثلا:

  curl https://example.com/robots.txt -o robots.txt

• استفاده کنید گزارش robots.txt در Search Console محتوای فایل robots.txt خود را کپی کنید، سپس می توانید آن را در یک جایگذاری کنید فایل بر روی کامپیوتر شما

روبات های خود را ویرایش کنید.فایل txt

فایل robots.txt را که از سایت خود دانلود کرده اید در یک ویرایشگر متن باز کنید و موارد لازم را انجام دهید قوانین را ویرایش می کند مطمئن شوید که از نحو صحیح و اینکه فایل را با رمزگذاری UTF-8 ذخیره کنید.

فایل robots.txt خود را آپلود کنید

فایل robots.txt جدید خود را در دایرکتوری ریشه سایت خود به عنوان یک فایل متنی با نام آپلود کنید robots.txt. روشی که شما یک فایل را در سایت خود آپلود می کنید بسیار وابسته به پلت فرم و سرور است. بررسی راهنمایی های ما برای یافتن کمک با آپلود فایل robots.txt در سایت شما.

حافظه پنهان robots.txt گوگل را بازخوانی کنید

در طول فرآیند خزیدن خودکار، خزنده‌های Google متوجه تغییراتی می‌شوند که در خود ایجاد کرده‌اید robots.txt را فایل کنید و نسخه کش شده را هر 24 ساعت به روز کنید. اگر نیاز به آپدیت دارید حافظه پنهان را سریعتر ذخیره کنید، از تابع درخواست جستجوی مجدد استفاده کنید گزارش robots.txt.