کاربرد فایل robot.txt چیست ؟
کاربرد فایل robot.txt چیست ؟ :
موتور های جستجوگر مثل Google, Bing برای رتبه بندی سایت ها و Index کردن آن ها از روبات ها Robot و Spider استفاده میکنند.
آن دسته از وب سایت هایی که از این فایل استفاده میکنند در رتبه بندی بهتری در page rank قرار میگیرند.
همینطور علاوه بر بحث سئو این فایل ها موجب امنیت بیشتر در برابر حملات میشود.
بوسیله این فایل ها قابلیت این را دارید که محدودیت های بسیاری روی سایت خود ایجاد کنید.
محتویات این فایل، یک فایل متنی میباشد که از یک یا تعداد بیشتری دستورات ایجاد شده .
که یک مثال از محتویات این فایل به طورت زیر میباشد. :
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/
در مثاال کد بالا دایرکتوری های cgi-bin، tmp و همینطور ~joe از لیست فولدر های فایل Index شدند، حذف شده اند و
روبات های موتور جستجوگر از پوشه های ذکر شده میگذرند.
توجه داشته باشید که برای خارج کردن تعدادی فایل از لیست Indexing باید برای هر کدام مثل مثال بالا در یک
سطر جداگانه تعریف کنید و قابلیت درج کردن آن ها به “Disallow: /cgi-bin/ /tmp/” وجود ندارد.
علامت ستاره “*” به معنی کلیه روبات های جستجو گر می باشد.
برای خارج نمودن فولدرهای خاصی از Indexing وب سایت بستگی به نوع سرور مجازی و وب سایت شما، متفاوت میباشد و
میبایست با نکات مختلفی آن ها را در نظر بگیرید.
در هر صورت از دسترس خارج کردن کلیه پوشه ها از کلیه روبات ها پیشنهاد نمیشود.
چون با انجام این کار شما بوسیله روبات ها Index نمیشوید و در نتیجه موتور های جستجوگر نیز نمایش داده نمیشود.
در ادامه این مقاله بعضی از نمونه کد های مورد استفاده شده در فایل Robots.txt را برای شما شرح میدهیم.
دستور زیر برای ممنوع کردن، کلیه روبات ها از کل وب سایت یا سرور مجازی مورد استفاده واقع میشود :
User-agent: * Disallow: /
دستور زیر برای ایجاد شدن دسترسی کلیه روبات ها به کلیه پوشه های وب سایت میشود :
User-agent: * Disallow:
دستور زیر برای جهت خارج کردن سه فولدر از لیست indexing روبات ها میباشد :
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /junk/
دستور زیر برای ممنوع کردن یک روبات خاص از دسترسی به سایت میباشد :
User-agent: BadBot Disallow: /
دستور زیر برای دسترسی دادن به یک روبات خاص :
User-agent: Google Disallow:
دقت داشته باشید که محل قرار گیری این فایل در سایت شما به صورت زیر میباشد :
www.YourSite.com/robot.txt