Seite 1 von 2

Seltsame Zugriffe: Besucher verhalten sich wie Bots?

Verfasst: 28.10.2013, 11:37
von netzfreak
Hallo zusammen,

eine Seite von mir wird seit kurzer Zeit regelmäßig von seltsamen Besuchern heimgesucht. Das Ganze zu beschreiben, ist etwas kompliziert - ich versuche es mal wie folgt zu erklären:

1.) Innerhalb eines kurzen Zeitraums von (meist) wenigen Sekunden bis (seltener) wenigen Minuten erfolgen scheinbar koordiniert Zugriffe von verschiedenen IPs aus üblichen Dialin-Pools diverser deutscher DSL-Provider. Der Spuk dauert immer nur sehr kurz, danach ist wieder für einige Stunden Ruhe.

2.) Die Zugriffe scheinen untereinander zusammenzuhängen, denn wenn z.B. eine Unterseite von IP-Adresse X aufgerufen wird, kann es sein, daß (nur) dort befindliche Links auf andere Unterseiten oder irgendwelche PHP-Skripts kurz darauf von IP-Adresse Y oder IP-Adresse Z aufgerufen werden.

3.) Unter den einzelnen IPs scheinen verschiedene Clients und sogar verschiedene Betriebssysteme zu laufen. Teilweise gibt es Zugriffe, wo eine IP-Adresse (fast) gleichzeitig mit Browser 1 unter Windows und Browser 2 unter Linux Seiten abruft. Das sieht ähnlich aus, wie wenn sich mehrere Nutzer/Rechner einen DSL-Zugang über einen Router teilen. Das kann aber natürlich auch bedeuten, daß einfach irgendwelche beliebigen HTTP-Useragents gefaked werden.

4.) Die IP-Adressen wechseln von Zugriffswelle zu Zugriffswelle, so wie auch jeder normale Internet-Nutzer seine IP wechselt. Die Pools bleiben aber immer ähnlich. Es sieht also ähnlich aus, wie wenn eine Hand voll Nutzer regelmäßig und gleichzeitig von ihren Privatkunden-Anschlüssen auf die Seite zugreifen. Ich glaube aber nicht an "normale" Nutzer, denn zum einen gibt es die unter 2.) und 3.) genannten Besonderheiten, zudem greift eine IP teilweise gleichzeitig auf mehrere unterschiedliche Unterseiten zu. So wild kann aber kein Mensch auf meiner Seite "herumklicken".

5.) Es werden nie HTTP-Referrer übergeben. Weder beim Erstzugriff, noch bei den Folgezugriffen.

6.) Robots.txt wird nicht abgefragt.

7.) Bei Unterseiten, die nicht mehr existieren, aber noch irgendwo verlinkt sind, wird besonders gerne "nachgehakt" und es stürzen sich mehrere IPs wechselseitig drauf.

8.) Es gibt keinerlei Zugriffe auf irgendwelche speziellen Admin-URLs o.ä. Es sieht also nicht nach einer der üblichen Scan-Wellen aus, wo nach Lücken bei PHP-Foren o.ä. gesucht wird. Es werden nur "normale" Seiten und dort verlinkte PHP-Skripts (die z.B. für Linkmaskierung eingesetzt werden) aufgerufen.

Fazit:
Wie gesagt, an "normale" Nutzer mag ich bei diesem Zugriffsprofil nicht glauben. Vielleicht irgendwelche Spezial-Bots? Aber dazu kommt mir das Zugriffsverhalten zu wirr vor. Hoffentlich war mein Posting jetzt nicht auch zu wirr... ;-)

Irgendwelche Ideen, was sich hinter der ganzen Sache verbergen könnte? Oder ist das ein Fall für Akte X? ;-)

Viele Grüße
netzfreak

Verfasst:
von

Verfasst: 28.10.2013, 11:50
von t-rex
Hi,

das hört sich wie ein Bot an, der über das TOR Netzwerk die Seiten crawlt. Um einzuschätzen, was der genau sucht müsste man sehen, was für Seiten er abruft. Er surft wohl über das TOR Netz, um zum einen seine Herkunft zu verschleiern und zum anderen ist ein aussperren so fast unmöglich.

Sonnige Grüsse
HaPe

Re: Seltsame Zugriffe: Besucher verhalten sich wie Bots?

Verfasst: 28.10.2013, 13:21
von Kristian
netzfreak hat geschrieben: Fazit:
Wie gesagt, an "normale" Nutzer mag ich bei diesem Zugriffsprofil nicht glauben. Vielleicht irgendwelche Spezial-Bots? Aber dazu kommt mir das Zugriffsverhalten zu wirr vor. Hoffentlich war mein Posting jetzt nicht auch zu wirr... ;-)

Irgendwelche Ideen, was sich hinter der ganzen Sache verbergen könnte? Oder ist das ein Fall für Akte X? ;-)
Sorry, das ist jetzt wieder mal gemein von mir, aber es klingt als habest du, was er da sucht: https://www.abakus-internet-marketing.d ... 21161.html
Tauscht euch doch mal aus ;-)

Re: Seltsame Zugriffe: Besucher verhalten sich wie Bots?

Verfasst: 01.11.2013, 02:39
von stony_1972
netzfreak hat geschrieben:Hallo zusammen,

eine Seite von mir wird seit kurzer Zeit regelmäßig von seltsamen Besuchern heimgesucht. Das Ganze zu beschreiben, ist etwas kompliziert - ich versuche es mal wie folgt zu erklären:

Fazit:
Wie gesagt, an "normale" Nutzer mag ich bei diesem Zugriffsprofil nicht glauben. Vielleicht irgendwelche Spezial-Bots? Aber dazu kommt mir das Zugriffsverhalten zu wirr vor. Hoffentlich war mein Posting jetzt nicht auch zu wirr... ;-)

Irgendwelche Ideen, was sich hinter der ganzen Sache verbergen könnte? Oder ist das ein Fall für Akte X? ;-)

Viele Grüße
netzfreak
Hallo,

den hab ich auch am Hals!
Kommt der bei dir auch über

- t-ipconnect.de
- pool.mediaways.net
- adsl.alicedsl.de

und mit Browser-Kennung:

- Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10
- Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
- Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.0.19) Gecko/2010102809 Iceweasel/3.0.6 (Debian-3.0.6-3)

Alle verwendeten IP-Adressen stammen aus dem Raum Berlin. Eben gerade ist er wieder mit ner t-ipconnect aus Potsdam aktiv und stochert in meiner Teergrube rum. Intelligent ist er jedenfalls nicht, denn sein Bot tritt in jedes Fass "Teer", das man ihm zum Fraß vorwirft. Für diese Knalltüte hab ich schon ein separates Log angelegt - und er liefert mir und meinem Rechtsanwalt fleißig Daten..... Noch ein bißchen mehr und es reicht für entsprechende Ermittlungen und eine fette Abmahnung! Der kann sich schon mal freuen....

Grüße Stony

Re: Seltsame Zugriffe: Besucher verhalten sich wie Bots?

Verfasst: 01.11.2013, 20:38
von Mr b00ner
stony_1972 hat geschrieben: Noch ein bißchen mehr und es reicht für entsprechende Ermittlungen und eine fette Abmahnung! Der kann sich schon mal freuen....
Abmahnung gegen das besuchen der Seiten? Wegen unheimlichen surfverhalten? Weil er keine Lust hat euch zu verraten wo er herkommt? Oder sind das 10.000.000 Zugriffe zur selben Zeit?

Re: Seltsame Zugriffe: Besucher verhalten sich wie Bots?

Verfasst: 02.11.2013, 03:42
von stony_1972
Mr b00ner hat geschrieben:
stony_1972 hat geschrieben: Noch ein bißchen mehr und es reicht für entsprechende Ermittlungen und eine fette Abmahnung! Der kann sich schon mal freuen....
Abmahnung gegen das besuchen der Seiten? Wegen unheimlichen surfverhalten? Weil er keine Lust hat euch zu verraten wo er herkommt? Oder sind das 10.000.000 Zugriffe zur selben Zeit?
Wenn du meinst, du könntest bei EDEKA in den Laden gehen, dir den Einkaufskorb vollpacken, an der Kasse ohne zu zahlen vorbeigehen, deinen Einkauf - schön kombiniert mit den unbezahlten Beutezügen durch weitere Supermärkte - anderweitig vertickern und dir die Kohle dann in die eigene Tasche stecken, dann musst du mit den Konsequenzen leben! Das was hier läuft, ist Datenklau. So einfach ist das, wenn man Nutzungsbedingungen anerkennt und sich dann nicht daran hält. Oder versteht man das jetzt auch offiziell unter SEO?

Verfasst: 02.11.2013, 11:55
von Mr b00ner
Was "klaut" er denn für Daten von deinen Seiten?

Verfasst: 02.11.2013, 12:19
von ElDiablo
Vielleicht hat wieder jemand irgendein neues Seo-Tool-Startup in Berlin am Start und sie crawlen nur Deine Page. Wenn sie dynamische IPs nutzen, kannst es eh nicht wirklich verhindern.

Verfasst: 02.11.2013, 13:09
von SloMo
t-rex hat geschrieben:Er surft wohl über das TOR Netz, um zum einen seine Herkunft zu verschleiern und zum anderen ist ein aussperren so fast unmöglich.
Nein, Tor-Clients aussperren ist eigentlich sogar recht einfach. Bei Interesse suche ich gerne ein paar Quellen für Euch heraus. Allerdings wird Tor wegen der geringen Bandbreite nur selten zum Crawlen genutzt.

Ich tippe eher auf ein Firefox-Plugin (siehe Posting von stony_1972 oben), das vielleicht sogar ohne Kenntnis der Nutzer als Proxy zum Crawlen von Websites genutzt wird. Wäre jedenfalls nicht die dümmste Methode.

@netzfreak: kannst Du noch die User-Agents posten?

Re: Seltsame Zugriffe: Besucher verhalten sich wie Bots?

Verfasst: 03.11.2013, 15:05
von netzfreak
Hallo zusammen,
stony_1972 hat geschrieben: den hab ich auch am Hals!
Kommt der bei dir auch über

- t-ipconnect.de
- pool.mediaways.net
- adsl.alicedsl.de
Ja, richtig!
stony_1972 hat geschrieben: und mit Browser-Kennung:

- Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.0.10) Gecko/2009042316 Firefox/3.0.10
- Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2
- Mozilla/5.0 (X11; U; Linux x86_64; en-US; rv:1.9.0.19) Gecko/2010102809 Iceweasel/3.0.6 (Debian-3.0.6-3)
Ebenfalls richtig!

Sind wir die beiden einzigen hier oder gibt es noch andere Betroffene? Sucht doch mal in Euren Logs nach kurzzeitigen Häufungen von Zugriffen mit diesen HTTP-Useragents... (bei Seiten mit vielen Besuchern können diese Zugriffe evtl. etwas untergehen).
stony_1972 hat geschrieben: Für diese Knalltüte hab ich schon ein separates Log angelegt - und er liefert mir und meinem Rechtsanwalt fleißig Daten..... Noch ein bißchen mehr und es reicht für entsprechende Ermittlungen und eine fette Abmahnung! Der kann sich schon mal freuen....
Wenn das wirklich Zugriffe via TOR sind, dann kann man den eigentlichen Urheber auf diesem Wege ja gar nicht ermitteln, von daher dürfte das nicht viel bringen.

Die Frage ist: Wie kann man evtl. herausfinden, ob die TOR-Theorie tatsächlich zutreffend ist? Ist es dort üblich, daß die Zugriffe über verschiedene (aber immer die gleichen) Provider und immer aus der gleichen Region erfolgen?

Und vor allem frage ich mich natürlich, was derjenige, der hinter dieser Aktion steht, eigentlich genau bezweckt... an ein eventuelles Firefox-Plugin o.ä. habe ich auch schon gedacht, mir ist aber kein solches Plugin bekannt.

Viele Grüße,
netzfreak

Verfasst: 16.11.2013, 13:55
von Cash
Der getarnte Bot ist auch seit ein paar Wochen bei mir aktiv. Auffällig sind die
verwendeten IPs die ausschließlich dem Berliner Raum zuzuordnen sind.

Wenn ich Vergleiche ziehe zu einzelnen IPs mit Logfiles von Kollegen so schlagen
einzelne IPs fast zeitgleich auf unterschiedlichen Domains auf. Die Schwachstelle des
Bots zeigt sich aber bereits in den verwendeten User-Agents.

Vor ca. 1 Jahr waren Saugattacken aus dem Berliner Raum an der
Tagesordnung. zu der Zeit waren nur Arcor und T-com IPs involviert. Viele mir bekannte Webmaster
haben diese Zugriffe auf Google weitergeleitet. Was bei mehreren hundert Zugriffen
am Tag zur Sperrung bzw. einer Captcha-Abfrage ganzer IP-Range auf Google führte.

Die Saugattacken haben aufgehört dafür ist nun dieser getarnte Bot aufgetaucht. Ich
für meinen Teil kann mir an 3 Fingern abzählen wer dafür als Betreiber in Frage kommt!

Habe auch Besuch aus Berlin und Potsdam

Verfasst: 30.11.2013, 19:23
von oscar.brings
Bei Potsdam und Berlin denke ich sofort an einen Spider, der sich auf das Erkennen von geklauten Bildern und Fotos spezialisiert hat. Im Abo-Angebot kann auch gleich ein Abmahnservice gebucht werden... Den Namen verkneif ich mir an dieser Stelle, will ja keine Werbung machen...

Verfasst: 05.12.2013, 00:48
von fuchs
Hi,

ich hab jetzt nur ein paar hundert Zugriffe am Tag von den drei User Agenten, aber ich habe vorsichtshalber mal ein Redirect eingerichtet.

Könnt ihr ein wenig konkreter werden wer dahinter stecken könnte? Muss ich mir sorgen machen?

fuchs

Verfasst: 20.12.2013, 03:52
von yys
Für mich hört sich das sehr nach einem dieser Website-Bots a la www.browsershots.org an. Da kann als supporter virtuelle Maschinen laden und laufen lassen die dann Deine Website z. B. mit Safari, Mozilla, Firefox, Chrome etc. unter verschiedenen Browsern, Betriebssystemen und Auflösungen testen, Screenshots erzeugen und das Ergebnis dann an Dich zurücksenden.

Vielleicht steckt ja gar nicht mehr dahinter. Kann natürlich auch ein Spambot sein, aber Deine Beschreibung passt ganz gut zu einem System a la Browsershots (selbe Provider, größtenteils gleiche IP-Adressen = 1 Screenshot-Maker-Rechner).

Verfasst: 27.02.2014, 19:59
von jens999
Hallo,

gibt es inzwischen neue Erkenntnisse? Unsere Server suchen die auch regelmäßig heim ...
Deine Beschreibung passt ganz gut zu einem System a la Browsershots (selbe Provider, größtenteils gleiche IP-Adressen = 1 Screenshot-Maker-Rechner).
das kann man weitestgehend ausschließen. Niemand wäre so wahnsinnig einen derartigen Dienst hinter (vielen) dynamischen Anschlüssen verschiedener Provider zu betreiben.
Viele mir bekannte Webmaster
haben diese Zugriffe auf Google weitergeleitet.
Wie? Alle Nutzer aus Berlin zu Google weiterleiten :-) ? Zumal alleine die Abfrage der geo-daten zur IP nicht so ohne weiteres in einer mod_rewrite zu erledigen ist.

Die UA wechseln inzwischen bei fast jedem Zugriff auch von einem Anschluss (und sind gültige aktuelle UA's). innerhalb weniger Minuten finden Zugriffe von mehr als 10 dynamischen Anschlüssen der verschiedenen Provider statt. Zusätzlich werden wohl auch VPN's benutzt die dann über Frankfurt kommen.

Zum Fraß vorgeworfene sinnlose Links werden in den darauf folgenden tagen versucht zu crawlen. Was also definitiv für einen Bot spricht. Aber: wer? wie unterbinden?

vg jens