اگر شما اعتقاد دارید در بودجه خزش سایت شما اشکالاتی وجود دارد پس بلاک کردن موتورهای جستجو از بررسی قسمت‌های کم اهمیت سایت، از هدر رفت بودجه خزش جلوگیری می‌کند. با بهینه سازی فایل ربات موتورهای جستجو از جمله گوگل می‌توانند از بررسی صفحات کم اهمیت صرف نظر کرده و به بررسی صفحات مهمتر سایت بپردازند. فایل robots.txt به گوگل، بینگ و دیگر روبات ها می گوید که به کدام صفحات در یک وب سایت دسترسی ندارند. در صورتی که شما از این فایل در برخی از صفحات در طراحی سایت خود استفاده کنید، موتور های جستجو آن صفحات را به اصطلاح crawl (خزیدن) نمی کنند و امکان دارد URL آن صفحات را در ایندکس خود ثبت نکنند. از بارزترین مثال‌ها در این زمینه، سایت‌های اشتراک فایل غیرقانونی از جمله سایت‌های تورنت هستند. خیلی از این سایت‌ها اجازه دسترسی به محتوای داخلیشان را به ربات‌های موتورهای جستجو نمی‌دهند و به جای آن جستجوگر داخلی خودشان را به کاربران پیشنهاد می‌کنند.
- سوالی که شاید برای شما هم پیش بیاید این است که این فایل در کجا قرار دارد.
- فولدرهای حاوی فایل های CSS و جاوا اسکریپت مورد نیاز در وب سایت را بلاک نکنید.
- در این حالت نه تنها سرور سایت با ترافیک سبک‌تری فعالیت خواهد کرد، بلکه مراحل بررسی و جمع‌آوری اطلاعات و سپس ایندکس کردن آن‌ها توسط ربات‌ها نیز به مقدار بسیار زیادی سریع‌تر خواهد شد.
- هنگامی که فایل robots.txt خود را در رایانه خود ذخیره کردید، آماده است تا آن را در اختیار خزنده های موتورهای جستجو قرار دهید.
اگر مطمئن نیستید که Robots.txt را دارید یا نه میتوانید به سادگی در انتهای آدرس سایت خود یک Robots.txt را تایپ کنید تا مشخص شود که سایت شما دارای این فایل است یا خیر. فقط کافی است در انتهای آدرس یک سایت کلمه Robots.txt را قرار دهید تا این فایل را برای شما نشان دهد. برخی از بدافزارها مانند ربات‌های مخرب txt را نادیده می‌گیرند. این بدافزار به شدت به دنبال ایمیل‌های سایت شما هستند تا ارسال تعدادی زیادی هرزنامه و اسپم را آغاز کنند. این نوشته به تمام ربات ها می گوید که در فولدر مربوط به تصاویر وب سایت خزش نکنند. به این دلیل که گوگل خودش به راحتی می تواند کلیه صفحات مهم سایت را پیدا کرده بخزد و فهرست بندی نماید.
مثال هایی از فایل robots.txt
در نهایت، ما با بررسی Crawl Rate و Crawl Demand، مقدار Crawl Budget یک وب‌سایت را تعریف میکنیم. در واقع Crawl Budget، تعداد URLهایی است که ربات گوگل می‌خواهد و می‌تواند ایندکس کند. در ادامه می‌خواهیم با جزئیات کامل درباره همین فایل مهم صحبت کنیم. قدم به قدم جلو می‌رویم تا ببینیم چطور می‌توان از فایل Robots.txt استفاده کرد؛ چطور می‌توانیم ربات‌ها را محدود کنیم، چطور از ایندکس شدن صفحه‌ها جلوگیری کنیم و در نهایت یک فایل Robots.txt عالی بسازیم. اما باید حواستان باشد که این ربات‌ها زبان آدمیزاد سرشان نمی‌شود! یعنی همینطور مثل چی سرشان را می‌ندازند پایین و سر تا پای سایت را بررسی می‌کنند.
ربات استخراج ایمیل و موبایل کاربران
در کادر مشخص شده، متن فایل ربات خود را به صورت دستی وارد کرده و روی بررسی TEST کلیک کنید. پس از ساخته شدن فایل ربات با افزونه Yoast میتوانید دستورات خود را در افزونه قرار دهید و آن را ذخیره کنید. برای ساختن فایل ربات در وردپرس ما یک راه ساده را به شما پیشنهاد میکنیم.
اگر سایت شما فایل robots.txt را نداشته باشد چه اتفاقی می‌افتد؟
بنابراین قبل از استفاده از این مورد به این مسئله دقت کافی را داشته باشید. استفاده از فایل robots.txt برای تمام سایت‌های متوسط و بزرگ تقریبا اجتناب ناپذیر است. اما در برخی سایت‌های کوچک با تعداد صفحه‌های محدود، می‌توان در مواردی حتی قید این فایل را هم زد و به موتورهای جستجو اجازه داد تا تمام صفحات را بررسی کنند.
دسترسی ربات‌های موتورهای جستجو را به بخش‌های مختلف و مشخص شده‌ای که اهمیت چندانی برای سئو و کسب رتبه در موتورهای جستجو ندارند را محدود می‌کنند. در این حالت نه تنها سرور سایت با ترافیک سبک‌تری فعالیت خواهد کرد، بلکه مراحل بررسی و جمع‌آوری اطلاعات و سپس ایندکس کردن آن‌ها توسط ربات‌ها نیز به مقدار بسیار زیادی سریع‌تر خواهد شد. به عبارت دیگر، ربات‌ها فقط زمانی تغییر رفتار می‌دهند که دستور دقیق و منطبق با آن رفتار را از طریق متون داخل این فایل دریافت کرده باشند. در غیر این صورت آن‌ها به رفتار طبیعی خود یعنی بررسی و ایندکس کردن تمام بخش‌های سایت ادامه خواهند داد.
در مورد کلمات کلیدی کم رقابت، استفاده از ربات افزایش ورودی گوگل قطعاً سبب بالا آمدن سایت شما (ورود به صفحه اول و حتی آمدن به رتبه نخست) میشود اما در کلمات کلیدی پُر رقابت، قضیه آنقدرها آسان نیست. زیرا کسب رتبه در کلمات کلیدی پُر رقابت تنها به ورودی گرفتن از گوگل وابسته نیست و به عواملی نظیر اعتبار دامنه، اعتبار صفحه، بک لینک‌ها و عوامل متعدد دیگر بستگی دارد. با این حال اگر سایت شما در یک کلمه کلیدی پر رقابت در صفحه سوم یا چهارم گوگل باشد استفاده از ربات شاید بتواند آنرا به صفحه دوم یا اول بیاورد اما نمیتواند آنرا به رتبه های نخست صفحۀ اول برساند.
هنگامی که فایل robots.txt خود را در رایانه خود ذخیره کردید، آماده است تا آن را در اختیار خزنده های موتورهای جستجو قرار دهید. هیچ ابزاری وجود ندارد که بتواند در این مورد به شما کمک کند، زیرا نحوه آپلود فایل در سایت شما به معماری سایت و سرور شما بستگی دارد. در مبحث شبکه، پروتکل قالبی برای ارائه دستورالعمل‌ها یا دستورات است. این پروتکلی است که به ربات‌ها می‌گوید از بررسی کدام صفحات وب و منابع آن اجتناب کنند. دستورالعمل‌های فرمت شده برای این پروتکل در فایل robots.txt گنجانده میشود.