حالا باید این فایل را در سرور میزبان به جای فایل قبلی قرار دهید. حالا این فایل را باز کنید و طبق راهنمایی که گفته شد، دستورات لازم را در آن بنویسید. اجازه دهید برای درک آسان‌تر فایل Robots.txt از یک مثال ساده شروع کنیم. آشنایی با ساب دامین و تفاوت‌های آن با ساب فولدر زیر دامنه یا ساب دامین چیست؟ چه تفاوتی با ساب فولدر دارد؟ چرا باید از زیردامنه استفاده کرد؟ اگر قصد راه اندازی سایت یا فروشگاه اینترنتی خود… ظاهرا noindex بودن ادرس ها و دستکاری شده توی کدنویسی قالب (نال شده) .
فایل Robots.txt یک فایل متنی کاملا ساده است؛ همانطور که از نام این فایل پیداست، فرمت .txt دارد و در دایرکتوری سایتتان قرار خواهد داشت. شما با کمک این فایل می توانید به ربات های گوگل و کراولر ها دستورات دلخواه خود را بدهید. شما با اضافه کردن کلمه robots.txt به انتهای ادرس سایت خود می‌توانید فایل robots.txt کنونی را ملاحظه بفرمایید. به عنوان مثال اگر دامنه شما Example.com است به ادرس example.com/robots.txt بروید و فایل robots.txt را مشاهده کنید. فایل Robots.txt یک فایل متنی ساده (با پسوند txt) است که توسط موتورهای جستجو و برخی سیستم‌های دیگر خوانده می‌شود و نام دیگر آن «Robots Exclusion Protocol» به معنی پروتکل حذف ربات‌ها است. این فایل حاصل یک اجماع بین توسعه دهندگان موتورهای جستجو در روزهای ابتدایی بوجود آمدن اینترنت است ولی همچنان اغلب موتورهای جستجو بدان پایبند هستند.
این فایل شما را قادر می‌سازد تا با موتورهای جستجو ارتباط برقرار کنید و به آن ها نشان دهید که چه بخشی از سایت شما را باید ایندکس کنند و چه بخش‌هایی را نباید ایندکس کنند. اگر از تگ نوایندکس استفاده کنید مستقیما به ربات‌های کراولر اعلام میکنید که این صفحه نباید در نتایج جستجو نمایش داده شود. یعنی کراولر صفحه‌ی شما را کراول و شناسایی می‌کند اما نمی‌تواند و حق ندارد محتوای شما را در نتایج نشان دهد. این مورد برای صفحات محرمانه با دسترسی عمومی بسیار مناسب است. برای صفحاتی محرمانه‌ای که نباید به صورت عمومی نمایش داده شوند ایجاد پسورد و یا شناسایی IP پیشنهاد می‌شود.
- یکی از تکنیک هایی که در سئو مورد استفاده قرار می گیرد، URL Cloacking نام دارد که برای پنهان کردن آدرس صفحات از دید موتور های جستجو و کاربران کاربرد دارد.
- خصوصا که گوگل صفحات سایت ما را فقط یکبار بررسی نمیکنند، که بطور مستمر و حتی روزانه درحال بررسی صفحات سایت هستند.
- موتورهای جستجو برای پایش وب سایت ها لینک ها را دنبال کرده و از یک سایت به سایتی دیگر می روند.
- این کار فقط به خزنده بینگ (نام عامل کاربر Bing) می‌گوید که از خزیدن صفحه خاص در /example-subfolder/blocked-page.html اجتناب کند.
- گوگل دیگر کودکی نیست که فقط به محتوای html سایت شما دقت کند و آن را در حالی که شما از دیگر تکنولوژی هایی مثل جاوا اسکریپت و … استفاده می کنید نادیده بگیرد و تمامی محتواهای تمام صفحات شما را بیرون بکشد.
برای اینکار کافیست وارد “پیشخوان وردپرس” شده، روی “تنظیمات افزونه” کلیک کرده و “ابزارها” را انتخاب کنید. یک Robots.txt درواقع یک فایل متنی ساده است که در مسیر اصلی فضای سایت شما یا روت دایرکتوری قرار می‌گیرد. در حقیقت وظیفه این فایل معرفی بخش‌های قابل دسترسی و بخش‌های محدود شده برای دسترسی ربات‌ها می‌باشد.
بهینه سازی سایت بوسیله Robots.txt
باید دقت داشته باشید که صفحات شما همزمان از این دو تگ و ربات استفاده نکنند تا صفحات به درستی به موتورهای جستجو معرفی شوند. User-agent ربات‌های خزنده به ادمین‌های سایت کمک میکنند تا انواع ربات‌های خزنده در حال بررسی سایت را بشناسند. در فایل robots.txt شما قادر خواهید بود تا برای ربات‌های مختلف، دستورالعمل‌های مختلفی صادر کنید.
دقت داشته باشید که صفحات اصلی را از دید ربات ها پنهان نمی کنید. این اقدام تنها بایست در ابتدای ساخت وب سایت انجام شده و در آینده در هنگام بررسی سئو سایت مورد توجه قرار گیرد. من یک وبسایت با ورد پرس ساختم و بعد از قرار دادن تعدادی مطلب تیک اجازه بررسی محتوا توسط موتور های جستجو را برداشتم. هفته اول تعداد بازدید سایت عالی بود ولی بصورت ناگهانی افت کرد و الان به صفر رسیده. تم رو عوض کردم و در گوگل وبمستر هم سایت رو ثبت کردم اما افزونه یوست هنوز پیغام میده که سایتتون ایندکس نمیشه.در سایت وبمستر تولز هم برای نقشه ی سایت ارور میده! با ابزار انلاین که فایل robots.txt رو چک کردم میگفت وجود نداره اما از طریقی که شما اموزش دادید فایلی رو اورد که اصلا دستوراتش فرق میکنند.
فایل Robots.txt کجاست؟
بنابر نیازماکاربردی وازقیمت مناسبی برخورداربودکه توانستیم تبلیغات خودراگسترده تر،درکوتاهترین زمان وبالاترین راندمان انجام دهیم.. سلام.خواستم تشکرکنم ازسرویس وبرنامه خوبی که دارید.بنده ازربات اینستاگرام استفاده میکنم.میخوام ربات سئو روهم تهیه کنم. نرم افزارکاربردی ومفیدیه،شخصاخیلی ازش راضی به جرات میتونم بگم ازبهترین نرم افزار های ارسال پیام انبوه و تبلیغ درتلگرام هست.. مرسی ازشماوتیم خوبتون بابت پاسخگویی واین که پشتیبانی میکنید کاربرو… سلام ربات واقعاعالی کارمیکنه، خیلی خوشم آمدازاین خرید که کردم. من میخوام برای ارسال پیام انبوه تلگرام و واتساپ هم خریدکنم..
سوالی که شاید برای شما هم پیش بیاید این است که این فایل در کجا قرار دارد. یا بهتر است بگوییم در کجا باید بدنبال این فایل بگردیم؟ پاسخ این سوال بسیار ساده است. دقت داشته باشید که اگر این فایل در هاست شما موجود نبود می توانید خودتان آن را ایجاد کنید. بسیاربرنامه کاربردی وخوبیه وبرای کارماکه نیازبه اطلاع رسانی به مشتریانمون داریم بسیارمناسب وعالیه وتیم پشتیبانی قوی وعالی که… پشتیبانی وسرعت پاسخگویی فوق العادست.ازتیم کاربرمجازی نهایت تشکررادارم.همینطورکلیه رباتهاکارایی خیلی خوبی دارندوباعث صرفه…
همیشه بهتر است پس از ساخت فایل robots.txt آن را تست نموده از صحت عملکرد آن اطمینان حاصل کنید. ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم. فعال کردن گزینه Enable Custom Robotsافزونه All in One SEO فایل robots.txt موجود در سایت شما را در بخش Robots.txt Preview در پایین صفحه نشان می‌دهد.