Warum registrieren? Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.

Bots per htaccess aussperren: Bringt das noch was?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Björn1
PostRank 2
PostRank 2
Beiträge: 42
Registriert: 06.07.2013, 15:29

Beitrag von Björn1 » 08.11.2019, 10:15

Hallo,

Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

RewriteCond %{HTTP_USER_AGENT} ^.*AhrefsBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Alexibot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*Aqua_Products.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*asterias.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*b2w/0.1.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BackDoorBot.*$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*BacklinkCrawler.*$ [NC,OR]

und viele weitere

Vielen Dank

ABAKUS Anzeige

von ABAKUS Anzeige »





SEO Consulting bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich beraten!
Jetzt anfragen unter: SEO Consulting oder kontaktieren Sie uns direkt unter: 0511 / 300325-0


staticweb
PostRank 9
PostRank 9
Beiträge: 1547
Registriert: 04.05.2016, 14:34

Beitrag von staticweb » 08.11.2019, 11:42

> Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?

Was verstehst du unter "Bringt es noch etwas"?

Hanzo2012
Community-Manager
Community-Manager
Beiträge: 1748
Registriert: 26.09.2011, 23:31

Beitrag von Hanzo2012 » 08.11.2019, 11:45

Also wenn schon, dann bitte in einer einzigen Regel alle kombinieren:

RewriteCond %{HTTP_USER_AGENT} AhrefsBot|Alexibot|Aqua_Products|...

Hast du tonnenweise Traffic von Bots, die deinen Server überlasten?

supervisior
PostRank 9
PostRank 9
Beiträge: 1217
Registriert: 26.06.2006, 09:11

Beitrag von supervisior » 08.11.2019, 12:21

Björn1 hat geschrieben:
08.11.2019, 10:15
Frage siehe Überschrift: Bringt es noch etwas z.B. folgende Bots auszusperren, oder verlängert das nur die Datei htaccess unnötig?
Wenn Du glaubst, dass es Dir ohne diese unerwünschten Bots besser geht, dann mache es so wie @Hanzo2012 es vorgschlagen hat. Es ist aber nicht so, dass blocken einfach nur blocken wäre. Auch das Blocken verbraucht Ressourcen und kann sich auf die Ladegeschwindigkeit auswirken, wenn Du es mit der Liste an Bots übertreibst UND Dein Server nur schwach auf der Brust ist.

So mache ich das:

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} "com.google.GoogleMobile|Photon|SemrushBot|HeadlessChrome|Uptimebot|Wappalyzer|WhatsApp|NetcraftSurveyAgent|contxbot|Gluten Free Crawler|facebookexternalhit|Dalvik|MJ12bot|WordPress|Apache-HttpClient|MSOffice|Dataprovider|www.ru|RU_Bot|FunWebProducts|netEstate|IndustryIndexBot|scrapy|Excel|Exabot|DomainStatsBot|DomainCrawler|Microsoft Windows Network Diagnostics|MegaIndex|oBot|spbot|AlphaBot|TinEye-bot|MauiBot|BacklinkCrawler|Guzzle|ImplisenseBot|Daum|pycurl|PHPCrawl|VelenPublicWebCrawler|Sogou|IndeedBot|HubSpot|WebDataStats|Wget|zgrab|libwww-perl|DotBot|CCBot|MSIE 6.0|MSIE 10.6|MSIE 10.0|MSIE 9.0|MSIE 8.0|Media Center PC|Java|NortheasternSysNetBot|Nimbostratus|Ruby|ZDM|SafeDNSBot|Apache HttpClient|Xbox|SMART-TV|TagVisit|TelegramBot|aiohttp|ZoomBot|WISE|SmartTV|WLMHttpTransport|AhrefsBot|TO-Browser|DomainCheck|Indy Library|serpstatbot|HTTPie|mattermost|CloudFlare|Discordbot|Chromexplorer|WinHttpRequest|YandexVideo|YahooCacheSystem|Test Certificate Info|CATExplorador|WLMHttpTransport|Cakemix|CloudFlare-AlwaysOnline|Viber|adscanner|CheckMarkNetwork|CloudFlare-AlwaysOnline|Link Checker|python-requests|Cakemix|curl|Darwin|DataXu" [NC]
RewriteRule .* - [F,L]

staticweb
PostRank 9
PostRank 9
Beiträge: 1547
Registriert: 04.05.2016, 14:34

Beitrag von staticweb » 08.11.2019, 12:26

> Auch das Blocken verbraucht Ressourcen

Das kannst du ignorieren, bei einer condition.

> HeadlessChrome | python-requests | curl | scrapy

Wer u.a. diese UAs nutzt kann ihn auch leicht anpassen, so dass du dir das sparen kannst.

supervisior
PostRank 9
PostRank 9
Beiträge: 1217
Registriert: 26.06.2006, 09:11

Beitrag von supervisior » 09.11.2019, 09:31

staticweb hat geschrieben:
08.11.2019, 12:26
> HeadlessChrome | python-requests | curl | scrapy

Wer u.a. diese UAs nutzt kann ihn auch leicht anpassen, so dass du dir das sparen kannst.

Erklär' mal bitte wie Du das meinst. Kann Dir grad nicht folgen...

Hanzo2012
Community-Manager
Community-Manager
Beiträge: 1748
Registriert: 26.09.2011, 23:31

Beitrag von Hanzo2012 » 09.11.2019, 10:00

Er meint, dass Leute, die solche Tools nutzen, einfach den User Agent ändern können, um deine Sperre zu umgehen. Prinzipiell schon, erfordert allerdings ein bisschen Arbeit und ist für viele Leute vielleicht schon zu viel verlangt.

staticweb
PostRank 9
PostRank 9
Beiträge: 1547
Registriert: 04.05.2016, 14:34

Beitrag von staticweb » 09.11.2019, 10:01

>> HeadlessChrome | python-requests | curl | scrapy
> Erklär' mal bitte wie Du das meinst. Kann Dir grad nicht folgen...

So wie ich es geschrieben habe.
Wer diese UA's nutzt, hat in der Regel auch die Möglichkeit diese bei Bedarf anzupassen, wenn sie geblockt werden.

Vor allem fehlt mindestens ein wichtiger UA. :-)

supervisior
PostRank 9
PostRank 9
Beiträge: 1217
Registriert: 26.06.2006, 09:11

Beitrag von supervisior » 09.11.2019, 10:19

Das ist wohl war, gilt dann aber ausnahmslos für jeden anderen UA auch. Von daher ist Deine Anmerkung obsolet. Weiß aber worauf Du anspielen willst. Der Punkt ist aber, dass diese von Dir aufgeführten UAs zumeist Bestandteil oder Funktion von zum Scrapen benutzte Software/Scripten oder bestimmten Browser Versionen ist und die Nutzer dieser Software zumeist gar nicht wissen oder gar nicht die Möglichkeit haben den UA zu ändern.

staticweb
PostRank 9
PostRank 9
Beiträge: 1547
Registriert: 04.05.2016, 14:34

Beitrag von staticweb » 09.11.2019, 10:48

> gilt dann aber ausnahmslos für jeden anderen UA auch

Falsch!

> Der Punkt ist aber, dass diese von Dir aufgeführten UAs zumeist Bestandteil oder Funktion von zum Scrapen benutzte Software/Scripten oder bestimmten Browser Versionen ist und die Nutzer dieser Software zumeist gar nicht wissen oder gar nicht die Möglichkeit haben den UA zu ändern.

Bei deiner Aussage musst du schon zwischen Scripten, Online-Diensten und Software unterscheiden. Bei letzterer ist es in der Free-Version z.B. meist gesperrt.

supervisior
PostRank 9
PostRank 9
Beiträge: 1217
Registriert: 26.06.2006, 09:11

Beitrag von supervisior » 09.11.2019, 10:58

Warum soll das falsch sein?!

Du gehst bei Deiner Denke davon aus, dass sich bei der besagten Software immer Software handelt hat auf die man Zugriff hat und man diese ändern könnte. Die besagten UAs sagen absolut nichts darüber aus, ob es sich dabei um einen Dienst handelt oder um eine Software, die man selbst installiert nutzen und dann auch ändern kann.

Nur als Randbemerkung, ich beschäftige mich mit dem Thema ungeliebte Bots und Scraper schon ein paar Jahre und hab deswegen einen guten Überblick was es so am Markt gibt und was man damit machen kann. Wenn Du etwas zu sagen hast, dann wäre es schon gut, wenn Du Deine Aussage halbwegs begründen würdest. Einfach mal ein "Falsch" in den Raum werfen, zieht bei mir nicht.

staticweb
PostRank 9
PostRank 9
Beiträge: 1547
Registriert: 04.05.2016, 14:34

Beitrag von staticweb » 09.11.2019, 11:17

> Warum soll das falsch sein?!

Weil es auch Bots / Crawler gibt die den UA nicht ändern.

> Die besagten UAs sagen absolut nichts darüber aus, ob es sich dabei um einen Dienst handelt oder um eine Software, die man selbst installiert nutzen und dann auch ändern kann.

Mit einer gewissen Erfahrung, kann man die richtigen Rückschlüsse ziehen. Und nein der UA allein sagt noch gar nichts aus.

> ich beschäftige mich mit dem Thema ungeliebte Bots und Scraper schon ein paar Jahre und hab deswegen einen guten Überblick was es so am Markt gibt

Dann wundern mich deine Aussagen und deine condition.

> Einfach mal ein "Falsch" in den Raum werfen, zieht bei mir nicht.

Was bei dir zieht ist hier nicht von Bedeutung. Die Begründung steht bereits oben. :-)

supervisior
PostRank 9
PostRank 9
Beiträge: 1217
Registriert: 26.06.2006, 09:11

Beitrag von supervisior » 09.11.2019, 12:17

staticweb hat geschrieben:
09.11.2019, 11:17
> Warum soll das falsch sein?!

Weil es auch Bots / Crawler gibt die den UA nicht ändern.
Richtig, deswegen verstehe ich auch Deine Argumentation nicht?!
staticweb hat geschrieben:
09.11.2019, 11:17
> Die besagten UAs sagen absolut nichts darüber aus, ob es sich dabei um einen Dienst handelt oder um eine Software, die man selbst installiert nutzen und dann auch ändern kann.

Mit einer gewissen Erfahrung, kann man die richtigen Rückschlüsse ziehen. Und nein der UA allein sagt noch gar nichts aus.
Du meinst JA, der UA allein sagt noch gar nichts aus.
staticweb hat geschrieben:
09.11.2019, 11:17
> ich beschäftige mich mit dem Thema ungeliebte Bots und Scraper schon ein paar Jahre und hab deswegen einen guten Überblick was es so am Markt gibt

Dann wundern mich deine Aussagen und deine condition.
Weil Du nicht wissen kannst, dass ich es allein bei der UA Prüfung alleine nicht belasse. Das wäre dann etwas zu einfach.
staticweb hat geschrieben:
09.11.2019, 11:17
> Einfach mal ein "Falsch" in den Raum werfen, zieht bei mir nicht.

Was bei dir zieht ist hier nicht von Bedeutung. Die Begründung steht bereits oben. :-)
Begründet hast Du bis dato goar nix. Von daher ist Deine Argumentation sinnfrei und wertlos.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag