این دستورات در فایل robots.txt به تمام پایشگرهای وب اعلام می کند که هیچ صفحه ای در دامنه را پایش نکنند. در ادامه مثال هایی را از فایل robots.txt برایتان آماده کرده ایم. دقت داشته باشید که این فایل در مسیر روت سایت یعنی آدرس /robots.txt قرار دارد. مشکل احتمالا از هاست و دسترسی فایل هستش که اجازه ساختن رو نمیده. شما میتونید فایل رو طبق روش آموزش در ویندوزتون بسازید و آپلودش کنید.
همانطور که می‌بینید دیجیکالا دستور سایت مپ را در فایل robots.txt خود قرار داده است. هدر دادن منابع سرور برای این صفحات، باعث از بین رفتن Crawl Budget شما می‌شود. به این ترتیب صفحات ارزشمند و مهمی که واقعاً نیاز به ایندکس شدن دارند خیلی دیرتر به نتایج جستجو راه پیدا می‌کنند. مدیریت ترافیک ربات‌ها از این جهت اهمیت دارد که سرور میزبان وبسایت شما برای پردازش و بارگذاری صفحات برای ربات‌ها مشغول نشود. از طرف دیگر، اکثر سرورها یا میزبان‌های وبسایت از نظر پنهای باند و ترافیک محدودیت دارند؛ به همین دلیل مصرف ترافیک برای ربات‌ها مقرون به صرفه نیست.
البته در حالی که تعداد این صفحات کم باشد یا این فرآیند برای شما دشوار نباشد. علاوه بر این، چون ربات‌های گوگل اجازه کش کردن محتوای داخل این صفحات را هم ندارند، این URLها به صورت زیر در صفحه نتایج گوگل ظاهر می‌شوند. به این ترتیب علارقم اینکه شما صراحتا در فایل ربات خود از گوگل خواسته‌اید که این صفحات را بررسی و ایندکس نکند، اما باز هم مشاهده می‌کنید که این صفحات در نتایج گوگل ظاهر می‌شوند.
- یعنی روند اثرگذاری پروژه های سئوی شما هم کند هستش هم زمانبره هم انرژی بره هم هزینه بر.
- برای ارسال فایل ربات سایت خود به گوگل، طبق توصیه گوگل باید یک حساب سرچ کنسول بسازید.
- این نوشته به تمام ربات ها می گوید که در فولدر مربوط به تصاویر وب سایت خزش نکنند.
- اگرچه برخی از ربات‌ها به دستورات موجود در این فایل توجهی نمی‌کنند.
- بیشتر وب سایت ها مخصوصا سایت های وردپرسی یک فایل ربات robots.txt دارند ولی به این معنی نیست که مدیر سایت این فایل را می شناسد.
باید مراقب باشید چون این فایل به همه چیز حتی بزرگ و کوچک بودن حروف حساس است. بنابرین باید دقت کنید تا مشکلی برای ایندکس سایت به وجود نیاید. در واقع یا ربات را از یک آدرس دور نگه می دارید و از آدرس محافظت می کنید، یا اینکه به ربات موتور جستجو اعلام می کنید به کدام بخش ها سر بزند و کدام بخش ها را بیشتر مورد بررسی قرار دهد. و شما می‌توانید برای ویرایش و ایجاد آن از یک FTP یا با فایل منیجر کنترل‌پنل هاست خود اقدام کنید.
ما در مه ویژن با داشتن تیمی مجرب و حرفه ای در حوزه سئوی سایت در خدمت شما عزیزان هستیم
همچنین بهتر است دستورالعمل‌های هر موتور جستجو را بخوانید تا مطمئن شوید دستوراتی که می‌نویسید برای همه موتورهای جستجو کار می‌کنند. در ادامه به بررسی مهم‌ترین دستوراتی می‌پردازیم که به کمک آن‌ها می‌توانیم برای ربات‌های مختلف قوانین بخصوصی را برای بررسی سایتمان مشخص کنیم. همانطور که تا اینجا متوجه شدید، برای حذف کامل یک فایل خاص مانند فایل‌های PDF یا تصاویر از نتایج گوگل، می‌توان به کمک محدودیت‌های فایل robot اینکار را به صورت کامل انجام داد. فایل robots.txt هم دقیقا مانند آیین نامه راهنمایی رانندگی برای ربات‌ها و خزنده‌های دنیای اینترنت عمل می‌کند.
سرور ابری
به ویژه در سیستم عامل لینوکس اگر برخی از حروف فایل بزرگ باشند، موتور جستجو امکان دریافت فایل را نخواهد داشت. جلوگیری از ظاهرشدن محتوای تکراری در SERP (توجه داشته باشید که متا ربات‌ها اغلب انتخاب بهتری برای این کار هستند). اگر فایل حاوی قاعده‌ای باشد که برای بیش از یک کاربر عامل اعمال می‌شود، خزنده فقط به خاص‌ترین گروه دستورالعمل‌ها توجه می‌کند. Robot یک برنامه کامپیوتری خودکار است که با وب‌سایت‌ها و برنامه‌ها تعامل دارد. ربات‌های خوب و ربات‌های بد وجود دارند و یک نوع ربات خوب، ربات خزنده وب نامیده می‌شود.
هدف این دستور تعیین محدودیت در میزان مصرف منابع سرور با تنظیم میزان تاخیر بین بازدیدهای مختلف ربات‌های خزنده است. در مثال زیر ربات خزنده موظف است بین هر درخواست ۸ میلی ثانیه توقف کند. گوگل از این دستور پشتیبانی نمی‌کند و شما می‌توانید فرکانس خزش را در گوگل سرچ کنسول تنظیم کنید. در صورتی که قصد این را دارید که بصورت قابل اطمینان یک صفحه را از نتایج جستجو حذف کنید بایستی از تگ noindex در صفحه مورد نظر استفاده کنید. برای مشاهده این تگ بایستی اجازه بررسی صفحه و مشاهده این تگ را به موتور جستجو بدهید پس بهتر است صفحه را در robots.txt بلاک نکنید.
برای کاربران انسانی، این شامل اطلاعاتی مانند نوع مرورگر و نسخه سیستم عامل است، اما اطلاعات شخصی ندارد. عامل کاربر به وب‌سایت‌ها کمک می‌کند محتوایی را نشان دهند که با سیستم کاربر سازگار است. برای ربات ها، عامل کاربر (از لحاظ نظری) به مدیران وب سایت کمک می‌کند تا بدانند چه نوع ربات هایی در سایت خزیده‌اند. در مجموع شاید شما کارهای مختلفی برای ارتقاء سئو سایتتون و بالا اومدن سایتتون تو صفحه نتایج گوگل انجام بدین. اما تا تاثیر مثبت این کارها رو در سایتتون ببینید خب ممکنه چند ماهی طول بکشه و نیاز هم باشه برای هر کدوم انرژی و هزینه جداگانه ای بذارین.
برخی وب سایت‌های سریع ممکن است عملکرد بدتری نسبت به وب سایت های کند داشته… برای این کار باید کد زیر را در یک فایل با فرمت txt قرار دهید. «بودجه خزیدن» تعداد صفحاتی است که Googlebot در مدت زمان معینی در یک سایت می خزد و فهرست می کند. اما اگر تعداد صفحات فراتر از حد انتظار بود (به URL صفحاتی که فهرست بندی شده اند که شما نمی خواهید توجه نمایید) زمان آن است که از Robots.txt استفاده نمایید. مثلا یک صفحه در دست ساخت دارید و یا اینکه یک صفحه برای ورود به بخش مدیریت سایت دارید.
تمام دستورات و محدودیت‌هایی که در فایل robots سایتمان ایجاد می‌کنیم تنها زمانی اعتبار دارند که ربات‌هایی وجود داشته باشند که به این دستورات احترام بگذارند و از آن‌ها پیروی کنند. گوگل هم به انواع مهم‌ترین موتور جستجو دنیا، چندین ربات مخصوص و مهم برای بررسی صفحات و اطلاعات موجود در اینترنت طراحی کرده است که با توجه به اهمیت آن‌ها به صورت ویژه آن را بررسی می‌کنیم. به عنوان مثال در بسیاری از سایت‌ها بخشی تحت عنوان پروفایل کاربران وجود دارد که نمایش این پروفایل‌های کاربری در نتایج گوگل هیچ ترافیکی برای سایت مورد نظر ایجاد نمی‌کنند. Robots.txt تنها برای خزیدن بهتر ربات‌های گوگل و دریافت نتایج بهینه‌تر استفاده شده و تأثیر آن در بهبود سئوی سایت است.