Seite 1 von 1
Bots per htaccess aussperren: Bringt das noch was?
Verfasst: 08.11.2019, 10:15
von Björn1
Hallo,
Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?
RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]
und viele weitere
Vielen Dank
Re: Bots per htaccess aussperren: Bringt das noch was?
Verfasst: 08.11.2019, 11:42
von staticweb
> Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?
Was verstehst du unter "Bringt es noch etwas"?
Re: Bots per htaccess aussperren: Bringt das noch was?
Verfasst: 08.11.2019, 11:45
von Hanzo2012
Also wenn schon, dann bitte in einer einzigen Regel alle kombinieren:
RewriteCond %{HTTP_USER_AGENT} AhrefsBot|Alexibot|Aqua_Products|...
Hast du tonnenweise Traffic von Bots, die deinen Server überlasten?
Re: Bots per htaccess aussperren: Bringt das noch was?
Verfasst: 08.11.2019, 12:21
von supervisior
Björn1 hat geschrieben: ↑08.11.2019, 10:15
Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?
Wenn Du glaubst, dass es Dir ohne diese unerwünschten Bots besser geht, dann mache es so wie @Hanzo2012 es vorgschlagen hat. Es ist aber nicht so, dass blocken einfach nur blocken wäre. Auch das Blocken verbraucht Ressourcen und kann sich auf die Ladegeschwindigkeit auswirken, wenn Du es mit der Liste an Bots übertreibst UND Dein Server nur schwach auf der Brust ist.
So mache ich das:
Code: Alles auswählen
RewriteCond %{HTTP_USER_AGENT} "com.google.GoogleMobile|Photon|SemrushBot|HeadlessChrome|Uptimebot|Wappalyzer|WhatsApp|NetcraftSurveyAgent|contxbot|Gluten Free Crawler|facebookexternalhit|Dalvik|MJ12bot|WordPress|Apache-HttpClient|MSOffice|Dataprovider|www.ru|RU_Bot|FunWebProducts|netEstate|IndustryIndexBot|scrapy|Excel|Exabot|DomainStatsBot|DomainCrawler|Microsoft Windows Network Diagnostics|MegaIndex|oBot|spbot|AlphaBot|TinEye-bot|MauiBot|BacklinkCrawler|Guzzle|ImplisenseBot|Daum|pycurl|PHPCrawl|VelenPublicWebCrawler|Sogou|IndeedBot|HubSpot|WebDataStats|Wget|zgrab|libwww-perl|DotBot|CCBot|MSIE 6.0|MSIE 10.6|MSIE 10.0|MSIE 9.0|MSIE 8.0|Media Center PC|Java|NortheasternSysNetBot|Nimbostratus|Ruby|ZDM|SafeDNSBot|Apache HttpClient|Xbox|SMART-TV|TagVisit|TelegramBot|aiohttp|ZoomBot|WISE|SmartTV|WLMHttpTransport|AhrefsBot|TO-Browser|DomainCheck|Indy Library|serpstatbot|HTTPie|mattermost|CloudFlare|Discordbot|Chromexplorer|WinHttpRequest|YandexVideo|YahooCacheSystem|Test Certificate Info|CATExplorador|WLMHttpTransport|Cakemix|CloudFlare-AlwaysOnline|Viber|adscanner|CheckMarkNetwork|CloudFlare-AlwaysOnline|Link Checker|python-requests|Cakemix|curl|Darwin|DataXu" [NC]
RewriteRule .* - [F,L]
Re: Bots per htaccess aussperren: Bringt das noch was?
Verfasst: 08.11.2019, 12:26
von staticweb
> Auch das Blocken verbraucht Ressourcen
Das kannst du ignorieren, bei einer condition.
> HeadlessChrome | python-requests | curl | scrapy
Wer u.a. diese UAs nutzt kann ihn auch leicht anpassen, so dass du dir das sparen kannst.