Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Bingbot sorgt für 2TB mehr an Traffic

Neues Thema eröffnen   Neue Antwort erstellen
 Alles außer Google verbieten Sitemap mit oder ohne http:// ?  
netnite

pr


: 07.06.2013
: 30



: 04.09.2013, 14:12    : Bingbot sorgt für 2TB mehr an Traffic
Von: netnite
netnite
00 04.09.2013, 14:12
Antworten mit Zitat Antworten mit Zitat

Wir haben seit einigen Wochen extrem hohen Traffic auf einer Seite.

Bisher waren es immer maximal 200GB Traffic jeden Monat, sind es nun im August 2.000GB Traffic gewesen.
Ich hab nun rausfinden können, dass ein Bot von Bing dafür verantwortlich ist, der immer die news.html aufrift und so den Traffic erzeugt.

Taglich erzeugt der Bot 650.000 Anfragen auf die Website.

Code:
Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)


Ich habe es bereits versucht den Bot mittels htacces auszuschliessen:

Code:
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0\ \(compatible;\ bingbot/2.0;\ +http://www.bing.com/bingbot.htm\)\.*$ [NC]
RewriteRule ^.*$ - [F,L]


Funktioniert leider nicht.

Hat jemand schon ähnliches erfahren und kann mir Tipps geben, wie ich den Bot aussperren kann?

Robots.txt funktioniert nicht.
00
Nach oben
netnite Private Nachricht senden
Shinedown

pr


: 19.05.2011
: 74



: 04.09.2013, 14:32    : Bingbot sorgt für 2TB mehr an Traffic
Von: Shinedown
Shinedown
00 04.09.2013, 14:32
Antworten mit Zitat Antworten mit Zitat

Hi,

bist du dir sicher dass der Bing Bot dafür verantwortlich ist?

Eventuell wird auch mittels User Agent einfach nur vorgetäuscht, dass der Bing Bot dafür verantwortlich ist und stattdessen handelt es sich um Fake Bots.

Du könntest erstmal versuchen, die IP's zu sperren, die den meisten Traffic verursachen.
00
Nach oben
Shinedown Private Nachricht senden
netnite

pr


: 07.06.2013
: 30



: 04.09.2013, 15:04    : Bingbot sorgt für 2TB mehr an Traffic
Von: netnite
netnite
00 04.09.2013, 15:04
Antworten mit Zitat Antworten mit Zitat



IP habe ich von dem Bot keine!
00
Nach oben
netnite Private Nachricht senden
IT-Knecht

pr


: 13.02.2004
: 772
: ~ Düsseldorf


: 04.09.2013, 17:43    : Bingbot sorgt für 2TB mehr an Traffic
Von: IT-Knecht
IT-Knecht
00 04.09.2013, 17:43
Antworten mit Zitat Antworten mit Zitat

Und? Die User Agent Kennung kann jeder angeben wie er lustig ist.

- Martin
00
Nach oben
IT-Knecht Private Nachricht senden
imwebsein

pr


: 26.09.2011
: 1979



: 04.09.2013, 18:13    : Bingbot sorgt für 2TB mehr an Traffic
Von: imwebsein
imwebsein
00 04.09.2013, 18:13
Antworten mit Zitat Antworten mit Zitat

IT-Knecht hat Folgendes geschrieben:
Und? Die User Agent Kennung kann jeder angeben wie er lustig ist.

- Martin


It-Knecht anscheinend weiß er es aber nicht besser. Um ehrlich zu sein, mein Fachgebiet ist es auch nicht. Du weißt es anscheinend besser, aber deine Antwort hilft 0. Auch mich würde interessieren wie man bei dieser Problematik vorgehen kann.

Wieso also anstatt eine schnippische Antwort, nicht ein paar Zeilen dazu, wie er sich um das Problem kümmern kann wenn es eben nen Fake Bot ist und ggf. sogar gezielt gepuscht wird? Sonst sind deine Antworten doch auch nicht so Martin

imwebsein GmbH & SEO Portal das Onlinemagazin für Suchmaschinenoptimierung
00
Nach oben
imwebsein Private Nachricht senden E-Mail senden WWW Besuche das Xing-Profil dieses Users
Nokes

pr


: 07.11.2010
: 425



: 04.09.2013, 22:04    : Bingbot sorgt für 2TB mehr an Traffic
Von: Nokes
Nokes
00 04.09.2013, 22:04
Antworten mit Zitat Antworten mit Zitat

Kannst versuchen für einen kurzen Moment (halben Tag) alle IP Adressen + User-Agent hinten dran, mit zu loggen. Einfach in eine Textdatei schreiben (via PHP am besten). Danach auswerten und den Trafficverursacher per IP sperren.

Gruß, <br /><br />Nico <br /><br /> <br /><br />robots.txt viewer | Nischen Themen finden
00
Nach oben
Nokes Private Nachricht senden
nerd

pr


: 15.02.2005
: 4010



: 05.09.2013, 00:15    : Re: Bingbot sorgt für 2TB mehr an Traffic
Von: nerd
nerd
00 05.09.2013, 00:15
Antworten mit Zitat Antworten mit Zitat

netnite hat Folgendes geschrieben:

Ich habe es bereits versucht den Bot mittels htacces auszuschliessen:

Code:
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5.0\ \(compatible;\ bingbot/2.0;\ +http://www.bing.com/bingbot.htm\)\.*$ [NC]
RewriteRule ^.*$ - [F,L]


Funktioniert leider nicht.

Ich bin kein profi in Regex, aber fuer mich sieht es so aus als ob diese regel ein paar fehler hat. "\ " (Schraegstrich space) ist falsch; ebenso wie "\." am ende.
Ich wuerde einfach nur nach "compatible; bingbot/2.0;" suchen um den bot auszusperren.
Teste deinen string mal auf http://regexpal.com/ - oben kommt deine regex rein; unten dein useragent wie er in den logs auftaucht.

Ich hab das mal im Internet gelesen!
00
Nach oben
nerd Private Nachricht senden
netnite

pr


: 07.06.2013
: 30



: 05.09.2013, 10:27    : Bingbot sorgt für 2TB mehr an Traffic
Von: netnite
netnite
00 05.09.2013, 10:27
Antworten mit Zitat Antworten mit Zitat

Danke an nokes und nerd für die sehr hilfreichen Antworten, die man leider nicht von jedem erwarten kann...

Ich hab nun mal eine Stunde die IP´s mitgeloggt und die IP´s die stark gehäuft auftraten sind tatsächlich alles BING-IP´s. Verglichen habe ich sie hier: http://myip.ms/info/bots/Google_Bing_Yahoo_Facebook_etc_Bot_IP_Addresses.html

Alle die aufgeführten IP´s habe ich nun in der htaccess geblockt:
Code:
order allow,deny
deny from 65.52.104
deny from 65.52.108
deny from 65.55.24
.... etc
allow from all


Nun werden in der Log-File nur noch tatsächliche Aufrufe in "normaler" Häufung aufgelistet.

Ich werde weiter beobachten und dann nochmal berichten, ob es die Lösung für mein Problem ist.
00
Nach oben
netnite Private Nachricht senden
om-labs

pr


: 14.12.2011
: 422
: Hannover


: 10.09.2013, 01:25    : Bingbot sorgt für 2TB mehr an Traffic
Von: om-labs
om-labs
00 10.09.2013, 01:25
Antworten mit Zitat Antworten mit Zitat

@netnite
nur um das mal klarzustellen.
obiger Screenshots ist aus einer Webalizer Auswertung.

"2253069 Anfragen" sind nicht Terrabyte oder Megabyte, sondern lediglich die Anzahl an erfolgten Anfragen.

Anfragen = Request
Webseiten werden durch HTML, CSS, Images und Javascript im Browser zusammengebaut.
Je nach Webseite müssen eine Vielzahl an Request gestellt werden, z.B. 50 Request pro Webseite.
Die Anzahl an Anfragen / Request sagt also nichts über den verbrauchten Traffik.

Nur so nebenbei, wenn deine Webseite 2 TB an Traffik veursachen würde, dann sperrt dir jeder normale Hoster das Webhosting, weil der Traffik unnormal hoch ist.

Haufenweise Excel Dateien für SEO?
Projektmanagement mit Outlook und Excel?
Wir haben die Lösung für Online Marketing Projekte!
BETA Zugang jetzt per Email oder PM anfragen
00
Nach oben
om-labs Private Nachricht senden E-Mail senden WWW
mtx93

pr


: 16.12.2011
: 809



: 10.09.2013, 01:37    : Bingbot sorgt für 2TB mehr an Traffic
Von: mtx93
mtx93
00 10.09.2013, 01:37
Antworten mit Zitat Antworten mit Zitat

Ich hatte da letztens auch einen Spike von Bing auf dem Server. Hatte mich gewundert, das kenne ich nämlich sonst nur von Baidu, der läuft gerne mal Amok.00
Nach oben
mtx93 Private Nachricht senden
netnite

pr


: 07.06.2013
: 30



: 11.09.2013, 08:48    : Bingbot sorgt für 2TB mehr an Traffic
Von: netnite
netnite
00 11.09.2013, 08:48
Antworten mit Zitat Antworten mit Zitat

om-labs hat Folgendes geschrieben:
@netnite
nur um das mal klarzustellen.
obiger Screenshots ist aus einer Webalizer Auswertung.

"2253069 Anfragen" sind nicht Terrabyte oder Megabyte, sondern lediglich die Anzahl an erfolgten Anfragen.

Anfragen = Request
Webseiten werden durch HTML, CSS, Images und Javascript im Browser zusammengebaut.
Je nach Webseite müssen eine Vielzahl an Request gestellt werden, z.B. 50 Request pro Webseite.
Die Anzahl an Anfragen / Request sagt also nichts über den verbrauchten Traffik.

Nur so nebenbei, wenn deine Webseite 2 TB an Traffik veursachen würde, dann sperrt dir jeder normale Hoster das Webhosting, weil der Traffik unnormal hoch ist.


Hast du alles gelesen oder einfach nur überflogen und geantwortet?

Du musst mir nicht erklären, woher der Screenshot kommt. Ich hab den Screenshot selber gemacht. Mir ist klar dass es 2253069 Anfragen sind. Bin ja schliesslich nicht dämlich. In dem Screenshot ging es lediglich darum den Agent zu zeigen und das Verhältnis der Anfragen abzubilden.

Und damit auch du Besserwisser nun beruhigt weitermachen kannst hier ein Screenshot aus dem Trafficmonitor:


Und nein der Hoster sperrt hier mal nix weil das unser eigener Server ist. Aber auch hier hast du scheinbar nicht richtig gelesen.

P.S. Wenn man sich nicht alles durchliest und Inhalte verstanden hat, lieber nichts schreiben, als sinnfreie Beiträge. Danke.

Im Übrigen Danke an alle anderen die mir mit Ihren Tips weitergeholfen haben. Ein zeitweises Tracking der IP´s hat geholfen die IP´s Bing bzw. MSN zuzuorden und auszuschliessen. Das hat nun zur Normalisierung des Traffic geführt.
00
Nach oben
netnite Private Nachricht senden
tuennes

pr


: 09.08.2009
: 266
: Köln


: 12.09.2013, 23:19    : Bingbot sorgt für 2TB mehr an Traffic
Von: tuennes
tuennes
00 12.09.2013, 23:19
Antworten mit Zitat Antworten mit Zitat

Wenn man per .htaccess bestimmte User Agents aussperren will, hat es sich bei mir bewährt, einen User Agent Switcher für den Webbrowser zu benutzen. Dann gibt man seinem Browser einfach die Kennung des auszusperrenden Bots und kann somit testen, ob die Regex-Regel richtig funktioniert.

Für Mozilla gibt es da mehrere vernünftige Add-ons...

Suchmaschinenoptimierung: Geißel des WWW.
00
Nach oben
tuennes Private Nachricht senden
Thomas B.

pr


: 11.09.2013
: 137
: München


: 12.09.2013, 23:51    : Bingbot sorgt für 2TB mehr an Traffic
Von: Thomas B.
Thomas B.
00 12.09.2013, 23:51
Antworten mit Zitat Antworten mit Zitat

Der Webanalyzer bezieht seine Daten aus den Server logs, die Daten extra zu loggen ist eigentlich überflüssig.

Aber wenn es sich wirklich um einen Bing Bot handelt, kann man auch die robots.txt nutzen. Der msnbot unterstützt den Parameter Crawl-delay, damit kannst du die Zugriffe auf die Seite einschränken. Wenn du auf die Besucher die über Bing kommen nicht verzichten willst.

Schöne Grüße
Thomas

Onpage Toolbox
00
Nach oben
Thomas B. Private Nachricht senden WWW Besuche das Xing-Profil dieses Users
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
[B] Facebook Traffic zum Thema Onlinemarketing und Affiliate [B] Facebook Traffic zum Thema Online... swiat Marktplatz: Dienstleistungen 0 15.05.2019, 15:28 [B] Facebook Traffic zum Thema Onlinemarketing und Affiliate
[B] Mega Erotik Traffic - Geile Keyword Datenbank [B] Mega Erotik Traffic - Geile Keywo... swiat Marktplatz: Dienstleistungen 0 15.05.2019, 15:22 [B] Mega Erotik Traffic - Geile Keyword Datenbank
[B] Webdesign, Printdesign, Corporate Design und mehr [B] Webdesign, Printdesign, Corporate... DSArts Stellenbörse: Stellenangebote und -gesuche 0 23.04.2019, 09:38 [B] Webdesign, Printdesign, Corporate Design und mehr
Traffic schätzen Traffic schätzen Webler Ich hab' da mal 'ne Frage 6 28.03.2019, 18:48 Traffic schätzen
AMP auto ads: Nichts wird mehr angezeigt AMP auto ads: Nichts wird mehr angezeigt Micha_Es Google Adsense 1 16.03.2019, 18:17 AMP auto ads: Nichts wird mehr angezeigt
Traffic Quelle für Conversion Tracking immer nur "Refer Traffic Quelle für Conversion Trackin... Steven_age Web Analytics & Controlling 11 12.03.2019, 19:30 Traffic Quelle für Conversion Tracking immer nur "Refer
Nie mehr Internet Explorer HURRA Nie mehr Internet Explorer HURRA staticweb Webprogrammierung, Templatedesign & Microformats 81 01.03.2019, 09:09 Nie mehr Internet Explorer HURRA


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | SEO Blog | SEO Online Tools | SEO Angebote | Modulare SEO Seminare

Impressum | Datenschutz

Bingbot sorgt für 2TB mehr an Traffic Bingbot sorgt für 2TB mehr an Traffic - Österreich Bingbot sorgt für 2TB mehr an Traffic - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Bingbot sorgt für 2TB mehr an Traffic