چرا که گوگل علاقه مند به مشاهده وب سایت به شکلیست که برای کاربران به نمایش در می آید. گوگل این گونه می تواند وب سایت را از دید موبایل فرندلی بودن بررسی نماید. آیا از وجود فایل robots.txt در وب سایت خود مطمئن نیستید؟ تنها کافیست که عبارت robots.txt را به انتهای نام دامنه خود اضافه کرد و یو آر ال نهایی را در مرورگر خود وارد کنید. اگر هیچ صفحه متنی ظاهر نشد، پس چنین فایلی در سایت شما وجود ندارد.
برای اینکار کافیست در هدر صفحه مورد نظر به صورت زیر عمل کنید. همانطور که گفتیم، هاست و منابع سرور سایت ما برای پاسخ دادن به درخواست‌های ربات‌ها دقیقا همانند پاسخگویی به درخواست‌های کاربران واقعی مشغول می‌شود. وقتی این درخواست‌ها از حد توان سرور سایت ما خارج شوند اتفاق از دسترس خارج شدن سایت رخ می‌دهد. اما این چیزی نیست که ما دنبال آن باشیم، بنابراین باید بتوانیم به کمک فایل robots قوانینی را مشخص کنیم که باب میل ما هستند.
در برخی شرایط، مشکلاتی برای یکی از صفحات شما پیش می آید که باید آن را برطرف کنید؛ قبل از برطرف کردن حتما باید دستور Disallow را در فایل Robot.txt اجرا کنید. فایل Robot.txt در دایرکتوری روت سایت شما ذخیره می شود؛ برای پیدا کردن آن می توانید به دسترسی FTP در سی پنل یا دایرکت ادمین بروید. سپس می توانید این فایل را در public_html سایت خود پیدا کنید. این فایل حجم سنگینی ندارد و در اکثر مواقع نهایتاً چند صد بایت خواهد بود. © ۱۴۰۱ تمامی حقوق مادی و معنوی این وبسایت متعلق به گروه دیجیتال نردبانمی‌باشد و هر گونه کپی‌برداری پیگرد قانونی دارد. ذخیره نام، ایمیل و وبسایت من در مرورگر برای زمانی که دوباره دیدگاهی می‌نویسم.
از نظر فنی می توانید فایل robots.txt خود را در هر دایرکتوری اصلی سایت خود قرار دهید. یکی از تکنیک هایی که در سئو مورد استفاده قرار می گیرد، URL Cloacking نام دارد که برای پنهان کردن آدرس صفحات از دید موتور های جستجو و کاربران کاربرد دارد. در صورتی که مشکل صفحه را حل نکنید و دستور دیس الو را هم اجرا نکنید، صفحه مورد نظر در گوگل ایندکس می شود و ممکن است به سئو سایت شما ضربه بزند. در مثال بالا همه ربات‌های خزنده از دسترسی به تمامی آدرسهایی که دارای کاراکتر ؟ هستند منع شده‌اند.
گهگاه بررسی کنید تا مطمئن شوید که robots.txt در وب سایت شما یافت می شود. با استفاده از گوگل وبمستر یا همان کنسول جستجوی گوگل شما می توانید بررسی کنید که چه تعداد و چه صفحاتی از سایتتان فهرست بندی شده اند. Robots.txt بیشتر شبیه به پیشنهادات است تا قوانین شکست ناپذیر برای ربات ها. صفحات شما همچنان می توانند به صورت فهرست مجله خبری سئو شده در نتایج جستجو برای کلمات کلیدی انتخاب شده قرار گیرند. Robots.txt در واقع یک فایل است با پسوند TXT که به ربات ها و خرنده های موتورهای جستجو این را می گوید که در کدام صفحات یا بخش های یک سایت حق خزیدن ندارند. من مشکلی برام پیش اومده من زمانی داخل روبوتس دات تی اکس تی دسترسی ربات های گوگل رو به سایت بسته بودم.
- مثلا زمانی که قصد داریم برای یک صفحه از مقالات سایتمان، یک صفحه pdf و یک صفحه قابل پرینت هم ایجاد کنیم، باید صفحه اصلی را نگه داشته و مابقی را به کمک robots.txt پنهان کنیم.
- این فایل معمولا در ریشه دایرکتوری ذخیره شده که به عنوان پوشه اصلی سایت شما شناخته می شود.
- البته باید این را در نظر داشت که برخی از قالب ها با تکتولوژی های مختلفی محتوا را نشان می دهند که اگر این ها مسدود شوند، روبات های گوگل یا هر موتور جستجوی دیگری نمی تواند آن را کرال کند.
- ابزارهای بسیار زیادی برای تست فایل robots.txt وجود دارند اما استفاده از ابزار Google Search Console را برای این کار توصیه می‌کنیم.
در سایت، برخی از صفحات وجود دارند که به صورت پیشفرض وجودشان ضروری است اما نمایش آنها در نتایج هیچ سودی ندارد. برای ساخت فایل robots.txt در وردپرس ابتدا وارد هاست سایتتان بشوید؛ سپس از آنجا روی گزینه File Manager کلیک کنید تا بتوانید فایل ها مختلف موجود در سایتتان را مشاهده کنید. همچنین به کمک این ابزار می توانید محتویات فایل robots.txt را تغییر بدهید. اما برای اعمال تغییرات در سایتتان، باید محتوای ویرایش شده را جایگزین محتوای قبلی در فایل robots.txt در هاست خود کنید. برای این کار کافیست پس از ویرایش متن، روی دکمه Submit کلیک کنید تا به بخش بعدی بروید. در بخش بعدی شما می توانید فایل robots.txt را دانلود کنید، سپس فایل جدید را جایگزین فایل قبلی کنید.
برنامه رباتیک و شماره سریال برنامه اجرا کننده
مدرن ترین متدهای طراحی وب در قالب هزاران محصول آماده طراحی سایت هم اکنون در دسترس شماست. می توانید در این فایل، خط های مختلفی به صورت دستورالعمل، تعریف کنید. در اینجا مثالی از فایل robots.txt وردپرس برای شما نمایش داده ایم. Robots.txt یک فایل است که وب مسترها به ربات های خزنده موتور جستجو می توانند اعلام کنند که چطور سایتشان را ایندکس کنند.
تاثیر فایل Robots.txt
وقتی که آدرس نقشه سایت XML در فایل robots.txt قرار داده می شود، ربات های گوگل راحت تر می توانند این نقشه را پیدا کنند. اگر بتوانید فایل robots.txt خوبی ایجاد کنید، می‌توانید به موتورهای جستجو (به خصوص Googlebot) بگویید که کدام صفحات را مشاهده نکند. در واقع با این کار به ربات‌ها می‌گویید کدام صفحه‌ها اصلاً در اولویت شما نیستند. حتماً شما هم نمی‌خواهید که ربات خزنده گوگل برای مشاهده و ایندکس محتوای تکراری و کم ارزش، سرورهای شما را اشغال کند.
لازم به ذکر است که این مورد برای سایت های کم بازدید، تاثیر کمتری دارد. اما به هر جهت سایت هایی که باید روزانه ترافیک زیادی را هندل کنند، با اضافه شدن حجم زیادی از ربات ها نیز، دچار مشکل خواهند شد. به همین جهت است که سئوکاران برای بهبود سرعت سایت، دسترسی ربات ها را محدود می کنند. در واقع با این کار اجازه بررسی برخی از بخش های سایت که از نظر سئو اهمیت کمتری دارند را به ربات ها نمی دهند. نکته بسیار مهمی که باید به آن دقت کنید، این است که فایل robots.txt به حروف بزرگ و کوچک حساس است.