مشاوره رایگان :

نحوه‌ی مسدود سازی مرورگر‌های آفلاین و Bad Bots

نحوه‌ی مسدود سازی مرورگر‌های آفلاین و Bad Bots

نحوه‌ی مسدود سازی مرورگر‌های آفلاین و Bad Bots

آموزش نحوه‌ی مسدود سازی مرورگر‌های آفلاین و Bad Bots :

مرورگر های Offline با اسم های Offline Browser، Offline Reader و یا Offline Navigator میباشند، نرم افزار های کامپیوتری میباشند که

لینک های داخل وب سایت و کلیه محتوای داخل آن را مثل Email ها ، خبرنامه ها، و صفحات وب و عکس ها را دانلود میکنند.

همینطور هدف اصلی از اینکار این میباشد که بازدیدکننده وب سایت توانایی این را داشته باشد که بعد از قطع اتصال از شبکه اینترنت

اطلاعاتی که مرورگر آن ها را Download کرده دسترسی داشته باشد و بتواند به بازدید خود بدون اینترنت ادامه دهد.

برای انجام دادن این عمل که بیشتر بدون منظور قبلی انجام میشود و باعث میشود که ترافیک وب سایت افزایش پیدا کند و امکان دارد

مدیر وب سایت هزینه های زیادی را برای ترافیک مصرف شده بپردازد.

این ربات‌های بد که به آن ها Bad Bots گفته میشود، به بد افزارهایی میگویند که با رفتن به یک وبسایت، با هدف مصرف کردن ترافیک،
همینطور پایین آوردن سرعت سرور مجازی , دزدیدن مطالب و محتوا، پیدا کردن  حفره‌های امنیتی و همچنین
جست‌وجوی آدرس ایمیل‌ها از آن بازدید می‌کنند.
زیرا یکی از مهم ترین دلیل هایی که آدرس ایمیل‌ها در فهرست Spam Databases قرار می‌گیرد استفاده کردن از
 این ربات‌ها بوسیله آن‌ها می‌باشد.

این ربات‌های بد بیشتر قوانین تعریف شده و کدهای موجود در فایل ‘robot.txt’ را نادیده می‌گیرند.

برای بلاک کردن این ربات ها کافیست فقط جهت فایل .htaccess را که در فضای سرویس میزبانی شما وجود ندار

اول ایجاد کرده
و از دستور زیر استفاه کنید :
ErrorDocument 403 /403.html RewriteEngine On RewriteBase / # IF THE UA STARTS WITH THESE RewriteCond %{HTTP_USER_AGENT} ^(aesop_com_spiderman|alexibot|backweb|bandit|batchftp|bigfoot) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(black.?hole|blackwidow|blowfish|botalot|buddy|builtbottough|bullseye) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(cheesebot|cherrypicker|chinaclaw|collector|copier|copyrightcheck) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(cosmos|crescent|curl|custo|da|diibot|disco|dittospyder|dragonfly) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(drip|easydl|ebingbong|ecatch|eirgrabber|emailcollector|emailsiphon) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(emailwolf|erocrawler|exabot|eyenetie|filehound|flashget|flunky) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(frontpage|getright|getweb|go.?zilla|go-ahead-got-it|gotit|grabnet) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(grafula|harvest|hloader|hmview|httplib|httrack|humanlinks|ilsebot) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(infonavirobot|infotekies|intelliseek|interget|iria|jennybot|jetcar) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(joc|justview|jyxobot|kenjin|keyword|larbin|leechftp|lexibot|lftp|libweb) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(likse|linkscan|linkwalker|lnspiderguy|lwp|magnet|mag-net|markwatch) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(mata.?hari|memo|microsoft.?url|midown.?tool|miixpc|mirror|missigua) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(mister.?pix|moget|mozilla.?newt|nameprotect|navroad|backdoorbot|nearsite) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(net.?vampire|netants|netcraft|netmechanic|netspider|nextgensearchbot) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(attach|nicerspro|nimblecrawler|npbot|octopus|offline.?explorer) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(offline.?navigator|openfind|outfoxbot|pagegrabber|papa|pavuk) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(pcbrowser|php.?version.?tracker|pockey|propowerbot|prowebwalker) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(psbot|pump|queryn|recorder|realdownload|reaper|reget|true_robot) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(repomonkey|rma|internetseer|sitesnagger|siphon|slysearch|smartdownload) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(snake|snapbot|snoopy|sogou|spacebison|spankbot|spanner|sqworm|superbot) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(superhttp|surfbot|asterias|suzuran|szukacz|takeout|teleport) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(telesoft|the.?intraformant|thenomad|tighttwatbot|titan|urldispatcher) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(turingos|turnitinbot|urly.?warning|vacuum|vci|voideye|whacker) [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(libwww-perl|widow|wisenutbot|wwwoffle|xaldon|xenu|zeus|zyborg|anonymouse) [NC,OR] # STARTS WITH WEB RewriteCond %{HTTP_USER_AGENT} ^web(zip|emaile|enhancer|fetch|go.?is|auto|bandit|clip|copier|master|reaper|sauger|site.?quester|whack) [NC,OR] # ANYWHERE IN UA — GREEDY REGEX RewriteCond %{HTTP_USER_AGENT} ^.*(craftbot|download|extract|stripper|sucker|ninja|clshttp|webspider|leacher|collector|grabber|webpictures).*$ [NC] # ISSUE 403 / SERVE ERRORDOCUMENT RewriteRule . – [F,L]
دستورات بالا هم موجب بر مسدود کردن و نداشتن امکان دسترسی مرورگرهای آفلاین و ربات‌های بد،
صفحه‌ی خطای ۴۰۳ نیز به آن‌ها نمایش داده شود
|