راهکار بهتر برای جلوگیری از دسترسی به این گونه صفحات، قرار دادن پسورد برای دستریست. اگر فایل robots.txt در وب سایت شما وجود ندارد، نگران نباشید. تنها با استفاده از دستورات ذکر شده می توانید یک فایل robots.txt در سایت ایجاد نموده و پس از بارگذاری آن را از طریق ابزار robots.txt tester گوگل سرچ کنسول تست نمایید. به هر حال، این افزونه در بخشی از ابزارهای خود این امکان را فراهم کرده تا بتوانید نقشه سایت خود را بسازید، ایندکس را کنترل کنید یا اینکه یک فایل ربات robots.txt بسازید.
- اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم.
- ربات Googlebot-Image وقتی به این دستور می‌رسد متوجه می‌شود که علارقم اینکه نباید محتوای فولدر mypic را بررسی کند اما استثنا یک فولدر به نام logo.png در آن وجود دارد که باید آن را بررسی کند.
- فایل Robots.txt یک ابزار بسیار بحرانی برای سئو می‌باشد و اگر نتوانید به درستی آن را هندل کنید ممکن است در امنیت سایت شما تاثیر منفی داشته باشد.
- علاوه بر این ممکن است برای انجام یک سری کارهای تحقیقاتی مثل تست های انسانی، مجبور شویم که از یک صفحه سایت، دو یا چند صفحه مشابه داشته باشیم.
- خیلی کم پیش اومده که از سایت های ایرانی خرید کنم و راضی باشم.شما جز اون کسایی بودید که واقعا از کار باهاتون لذت بردم.
بودجه شما، یا همان تعداد صفحاتی که توسط Googlebot مشاهده می شوند، بر اساس حجم وب‌سایت شما (تعداد صفحات)، سلامت آن (عدم بروز خطا) و تعداد بک‌لینک‌های سایت‌تان تعیین می‌شود. مثلاً مهم‌ترین ربات گوگل یا همان Googlebot کارش پیدا کردن صفحه‌های جدید در اینترنت و دریافت آن برای بررسی‌های بیشتر توسط الگوریتم‌های رتبه‌بندی کننده است. پس ربات‌ها نه تنها ضرری برای سایت شما ندارند، بلکه باید خیلی هم از آنها استقبال کرد.
ساخت فایل ربات (Robots.txt Generator)
در روش اول می‌بایست فایل HTML را دانلود کرده و در پوشه Public_html هاست خود آپلود کنید. پس از وارد شدن به ابزار سرچ کنسول صفحه اصلی آن مانند تصویر زیر نمایان خواهد شد. و در روش Domain نیز کافیست آدرس سایت خود را بدون پیشوند Hamyarwp.com وارد کنید. پس از وارد کردن آدرس سایت کد موجود در صفحه را کپی کرده و در بخش DNS manager هاست خود اضافه نمایید. در این صفحه می‌توانید با انتخاب دکمه Add Ruleقوانین سفارشی خود را برای بهبود سایت به فایل robots.txt اضافه کنید.
ویرایش فایل ربات سایت توسط افزونه سئو یواست (Yoast SEO)
بعد بررسی متوجه شدم همه ایندکس های حذف شده مربوط به tag ها بودن . من کدی که داخل این مطلب نوشتید (غیرفعال کردن Feed وردپرس از ۲ روش مختلف) رو داخل functions.php سایتم گذاشتم که فید سایت کلا غیرفعال بشه. بروزرسانی‌های پیاپی این فایل اگرچه در روند فعالیت سایت شما به ظاهر تأثیر زیادی نخواهد گذاشت، اما می‌تواند منجر به پیچیده شدن فرآیند دسترسی خزندگان و ربات‌ها به سایت شما شود. با تغییر عدد 10 به دیگر اعداد، می‌توانید مدت زمان مربوطه را کم یا زیاد کنید. به محض رویارویی با این فایل، خزندگان سطح وب شروع به بررسی محتوا و لیست داخل این فایل کرده تا بخش‌های قابل دسترسی را پیدا کنند.
چطور سایت خودتان را به طور کامل از گوگل و بینگ مسدود کنید؟
فایل Robots.txt در وبسایت‌ها نقش همین راهنماها و نگهبانان را دارد اما نه برای کاربرانی که وارد سایت می‌شوند، بلکه برای ربات‌هایی که برای بررسی سایت یا هر کار دیگری می‌خواهند در بخش‌های مختلف سایت سرک بکشند. هدف از این آموزش این است که اگر مدیران سایت دوست نداشته باشند گوگل به تمام قسمت‌های سایتشان نفوذ کند می‌توانند از این فایل استفاده کرده و یک نوع حریم برای سایتشان ایجاد کنند. شما می‌توانید با استفاده از افزونه‌ای که در بالا ذکر شد کاری کنید که قسمتی از فایل‌ها مانند readme.html در گوگل ایندکس نشود و یا غیرازاین می‌توانید هر فایل دلخواه دیگری را مشخص کنید تا نمایش داده نشود.