اگر واقعا مصمم هستید سایت خود را با افزونه Yoast SEO بهینه سازی کنید. پیشنهاد میکنیم از نسخه تجاری و حرفه ای آن استفاده کنید، و البته اگر آن را از مانگو تهیه کنید، هم پشتیبانی دریافت میکنید هم بروز رسانی های آن را به طور اورجینال دریافت می کنید. دایرکت ادمین را باز کرده و روی مدیریت فایل File Manager کلیک کنید. پس از اینکه مسیر مورد نظر برای شما باز شد باید وارد پوشه Public_html شوید. وارد این مسیر شدید، روی گزینه Upload to this Directory کلیک کرده و فایل خود را برای آپلود انتخاب کنید. دستور” / ” بعداز Disallow به ربات گوگل می‌گوید باید وارد پوشه‌ای در ریشه فایل شوید.
- این دستور به ربات‌ها اجازه می‌دهد به یک صفحه یا بخش وبسایت دسترسی پیدا کنند.
- مسیر نقشه های سایت را می توانید در انتهای دستورات فایل robots.txt به مانند تصویر زیر قرار دهید.
- Crawl Stats وجود دارد که دفعات بررسی صفحه‌های سایت به صورت روزانه را نمایش می‌دهد.
یک فایل robots.txt حاوی دستورالعمل‌هایی برای ربات‌ها است که به آنها می‌گوید به کدام صفحات وب می‌توانند دسترسی داشته باشند و به کدام صفحات نباید بروند. فایل‌های robots.txt برای خزنده‌های وب موتورهای جستجو مانند Google مرتبط هستند. فایل Robots.txt یک فایل متنی است که مدیران وبسایت از آن برای هدایت ربات‌های موتور جستجو استفاده می‌کنند و با کمک آن می‌توان نحوه خزیدن و ایندکس صفحات وبسایت را فهرست کرد. لینک های حاضر در صفحات بلاک شده توسط فایل robots.txt دنبال نخواهند شد. این مسئله بدین معناست که در صورت عدم وجود آن لینک در هیچ کجای وی یا یک صفحه بلاک نشده دیگر از وب سایت شما، توسط موتورهای جستجو دیده نشده و در نتیجه ایندکس نخواهد شد. ثانیا اعتباری از صفحه بلاک شده به لینک های آن منتقل نمی گردد.
سرور ابری
در زمینه کلمات کلیدی حتما این نکته رو هم در نظر داشته باشین که هیچ وقت نمیشه تو کلمات کلیدی که رقابت شدیدی توشون وجود داره به سادگی اومد توی صفحات اولیه گوگل. باید با استفاده از کلمات کلیدی جانبی که رقابت توشون کمتره صفحات سایت رو اول بالا بکشید. اما قطعا هیچ وقت بیشتر از یکی دو روز نمیکشه که از جست و جوی خودتون به نتیجه دل خواه میرسید. و تاثیر مثبت بر روی الگوریتم Rank Brian گوگل داشته باشند (که خود نشانه پاس کردن استانداردهای امنیت در ربات افزایش ورودی گوگل است).
از Disallow برای مسیرها استفاده کنید نه صفحات خاص
همچنین با داشتن یک فایل robots.txt به مدیریت فعالیت‌های این خزنده‌های وب کمک میکنید تا بر سرور وب میزبان وبسایت مالیات اضافه نکنند، یا صفحاتی که برای نمایش عمومی نیستند فهرست‌بندی نکنند. این دستور به ربات‌ها می‌گوید که به صفحه وب یا مجموعه‌ای از صفحات وب که پس از دستور آمده است دسترسی نداشته باشند. صفحات غیرمجاز لزوماً “پنهان” نیستند – آنها فقط برای کاربران عادی Google یا Bing مفید نیستند، بنابراین به آنها نشان داده نمی‌شوند. در بیشتر مواقع، کاربر در وب سایت اگر بداند که در کجا آنها را پیدا کند، می تواند این صفحات را پیمایش کند.
این صفحات برای وب سایت شما ضروری هستند ولی نمی خواهید در گوگل فهرست بندی شوند. فهرست برخی از ربات‌های مشهور که سایت‌های اینترنتی را پیمایش می‌کنند در این صفحه قابل مشاهده است. 4- برای تأیید اینکه فایل robots.txt آنلاین نسخه‌ای است که می‌خواهید گوگل آن را بخزد، روی تأیید نسخه آنلاین کلیک کنید.
هر حالت دیگری که فایل ربات در ریشه سایت نباشد آن را از دسترس ربات‌های گوگل خارج می‌کند. Robots.txt نحوه خزیدن در صفحات مختلف وبسایت را به ربات‌ها اعلام می‌کند در حالی که متا ربات و ربات X رفتارهای یک صفحه یا محتویات یک صفحه را به ربات‌های خزنده اعلام می‌کنند. این کد به ربات اجازه می دهد در فایل photos فقط عکس backlink.jpg را نمایش داده و ایندکس نماید، واجازه دسترسی به دیگر عکس های داخل فولدررا ندارد. شما با ترکیب این ۲ دستور user-agent و disallow می توانید قوانین مختلفی برای دسترسی به عکس، متن و …قسمت های مختلف سایتتان ایجاد کنید. هم چنین می توانید نام هر ربات خزنده را در user-agent مشخص کنید و به آن دستور خاصی دهید.