این مقاله به کوشش رامین محمودی، حسین بابائی، صفیه منتظری و دیگر اعضای تیم نوین تولید شده است. تک‌تک ما امیدواریم که با تلاش خود، تاثیری هر چند کوچک در بهبود کیفیت وب فارسی داشته باشیم. هر آنچه برای کنترل این ربات‌ها فضول اما مفید لازم بود را به زبان ساده توضیح دادیم. اولین بخش، Crawl Rate Limit (حد نرخ خزیدن) است و دومی Crawl Demand.
- در این مقاله قصد داریم تا طراحی سایت رستوران و فست فود را به طور کامل بررسی کنیم.
- اکنون که اصول robots.txt و نحوه استفاده از آن در سئو را می دانید، مهم است که بدانید چگونه یک فایل robots.txt را پیدا کنید.
- این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که می توانند تمام صفحات دامنه را پایش کنند.
- آقا مشکل حل شد، سپاس به خاطر پشتیبانی خوبتون حتما ربات اینستاگرام رو هم از شما خواهم خرید..
بهترین روش برای انجام اینکار معرفی آدرس نقشه سایت در داخل گوگل سرچ کنسول است. برای انجام اینکار پیشنهاد می‌کنیم که حتما مقاله “صفر تا صد نقشه سایت” را مطالعه کنید. اگرچه برخی از ربات‌ها به دستورات موجود در این فایل توجهی نمی‌کنند. اما خوشبختانه برخلاف این عده خاص، بسیاری از خزنده‌های مهم سطح وب به این قوانین و دستورات احترام می‌گذارند و از آن‌ها پیروی می‌کنند. علاوه بر این‌ها، گوگل ربات‌های مختلف دیگری را هم دارد که لیست کامل نام و وظیفه آن‌ها را می‌توانید در مقاله “مرور خزنده‌های موتور جستجو گوگل” که توسط خود گوگل منتشر شده است ببینید. موتور جستجو گوگل به تجربه کاربری سایت‌ها توجه ویژه‌ای دارد، یکی از مواردی که به تجربه کاربری کاربران لطمه زیادی وارد می‌کند بحث از دسترس خارج شدن سایت یا به اصطلاح down شدن آن است.
دلایل استفاده از فایل robots.txt
گوگل لیستی از الگوهای تطبیقی و مثال ها را در اینجا گرداوری کرده است. کارکتر $ نیز برای اشاره به پایان یافتن یک یو آر ال استفاده می شود. برای قرار دادن کامنت می توانید از کاراکتر # در ابتدای توضیحات استفاده نمایید. وقتی از وایلد کارد یا متغیر استفاده کنید، عملا هر رباتی را نشانه رفته اید. مثل اینست که بگویید “هیچ موجود زنده ای” حق ندارد به تلفن شما دست بزند. این عبارت شامل تمام خویشاوندان، حیوون خونگی و حتی پرنده ی تو باغچه ها هم می شود.
نمونه های فایل robots.txt کدامند؟
گفتیم فقط نباید از یک دونه ای پی استفاده بکنیم و باید به هنگام جست و جو های مختلف ای پی تون رو عوض بکنین، تا هویتتون مخفی باقی بمونه. به این صورت که لیستی از کلمات کلیدی مورد نظرتان را به این ربات ارتقاء سئو میسپارید تا جایگاه (صفحه) سایت شما را در نتایج جستجوی گوگل (برای تک تک آن عبارات کلیدی) به شما گزارش دهد. و با انجام همه روزه این کار فرایند رشد یا افت سایت تان در عبارت کلیدی مختلف را جلوی چشم خواهید داشت. Robots.txt در واقع یک فایل واقعیست، در حالی که robots و x-robots جز داده های متا هستند. فایل robots.txt به کنترل پایش صفحات وب سایت پرداخته، در حالی که متا robots و x-robots به مدیریت ایندکس صفحات سایت در موتورهای جستجو می پردازند. فایل Robots.txt به شما کمک نمی‌کند تا یک URL را از ایندکس موتورهای جستجو حذف کنید و همچنین از موتورهای جستجو در برابر اضافه کردن یک URL جلوگیری نمی‌کند.
خرید هاست ابری
اگر مایل هستید که تنها تعداد محدودی از صفحات سایت شما در موتورهای جستجو ایندکس نشوند، پیشنهاد می‌کنیم به جای تغییر در فایل robots.txt از تگ noindex در هدر صفحه موردنظر استفاده کنید. هیچگاه از فایل robots.txt برای پنهان کردن داده های حساس و خصوصی وب سایت از نتایچ جستجو استفاده نکنید. چرا که ممکن است لینک این گونه صفحات در جایی دیگر از سایت قرار داشته و کاربران به آن دسترسی پیدا کنند.