Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Bot / Crawler erkennen

Neues Thema eröffnen   Neue Antwort erstellen Gehe zu Seite 1, 2  Weiter
 robots.txt Chrome Extension Domain aus Google und Bing löschen  
superolli

pr


: 22.07.2007
: 701



: 13.06.2016, 09:56    : Bot / Crawler erkennen
Von: superolli
superolli
00 13.06.2016, 09:56
Antworten mit Zitat Antworten mit Zitat

Hallo, Hilfe!

Wie kann ich herausfinden, wer sich hinter diesen
Abfragen aus meinen Worpress Logs versteckt?

Zum beispiel

- Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko
- Mozilla/5.0 (Windows NT 6.3; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0
- Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.84 Safari/537.36

Danke vorab!
Grüße
Oliver

Schönes für Ihr Kind | Malvorlagen & Allgemeines rund um die Familie
00
Nach oben
superolli Private Nachricht senden E-Mail senden WWW
nerd

pr


: 15.02.2005
: 3897



: 14.06.2016, 05:19    : Bot / Crawler erkennen
Von: nerd
nerd
00 14.06.2016, 05:19
Antworten mit Zitat Antworten mit Zitat

Am user agent? Gar nicht, denn der kann mit mehr oder weniger muehe ueberall frei gesetzt werden.
Ob es ein bot ist laesst sich manchmal daran erkennen, ob er auch favicon, bilder, css files, javascript und alle darin verlinkten files korrekt abruft oder komplett ignoriert, oder welche http header sonst noch gesetzt oder nicht gesetzt sind.

Ich hab das mal im Internet gelesen!
00
Nach oben
nerd Private Nachricht senden
Can

pr


: 30.10.2010
: 1037



: 14.06.2016, 08:57    : Bot / Crawler erkennen
Von: Can
Can
00 14.06.2016, 08:57
Antworten mit Zitat Antworten mit Zitat

Darf ich Fragen welche Rückschlüsse du dir aus den Informationen erhoffst? Bzw was ist deine Absicht hier?00
Nach oben
Can Private Nachricht senden
superolli

pr


: 22.07.2007
: 701



: 14.06.2016, 10:36    : Bot / Crawler erkennen
Von: superolli
superolli
00 14.06.2016, 10:36
Antworten mit Zitat Antworten mit Zitat

Ich gehe zum ersten Mal seit 10 Jahren meine logs durch und will Bot zielgerichtet aussperren.

Schönes für Ihr Kind | Malvorlagen & Allgemeines rund um die Familie
00
Nach oben
superolli Private Nachricht senden E-Mail senden WWW
Can

pr


: 30.10.2010
: 1037



: 14.06.2016, 10:44    : Bot / Crawler erkennen
Von: Can
Can
00 14.06.2016, 10:44
Antworten mit Zitat Antworten mit Zitat

superolli hat Folgendes geschrieben:
Ich gehe zum ersten Mal seit 10 Jahren meine logs durch und will Bot zielgerichtet aussperren.


Warum?
00
Nach oben
Can Private Nachricht senden
superolli

pr


: 22.07.2007
: 701



: 14.06.2016, 11:31    : Bot / Crawler erkennen
Von: superolli
superolli
00 14.06.2016, 11:31
Antworten mit Zitat Antworten mit Zitat

Was nutzen mir Crawler von Baidu, Yandex, Majestics... ausser dass Sie Traffic verursachen und nur sekundenweise meine Seite besuchen.

Was nutzt mir ungefilterter Traffic von Bots & Co. aus China und Russland bei einer auf den deutschsprachigen Raum ausgelegten Seite?

Schönes für Ihr Kind | Malvorlagen & Allgemeines rund um die Familie
00
Nach oben
superolli Private Nachricht senden E-Mail senden WWW
Nokes

pr


: 07.11.2010
: 425



: 14.06.2016, 12:55    : Bot / Crawler erkennen
Von: Nokes
Nokes
00 14.06.2016, 12:55
Antworten mit Zitat Antworten mit Zitat

superolli hat Folgendes geschrieben:
Was nutzen mir Crawler von Baidu, Yandex, Majestics... ausser dass Sie Traffic verursachen und nur sekundenweise meine Seite besuchen.

Was nutzt mir ungefilterter Traffic von Bots & Co. aus China und Russland bei einer auf den deutschsprachigen Raum ausgelegten Seite?


Baidu und Yandex sind auch Suchmaschinen

Gruß, <br /><br />Nico <br /><br /> <br /><br />robots.txt viewer | Nischen Themen finden
00
Nach oben
Nokes Private Nachricht senden
swiat

pr


: 25.02.2005
: 6051



: 14.06.2016, 13:49    : Bot / Crawler erkennen
Von: swiat
swiat
00 14.06.2016, 13:49
Antworten mit Zitat Antworten mit Zitat

Nokes hat Folgendes geschrieben:
superolli hat Folgendes geschrieben:
Was nutzen mir Crawler von Baidu, Yandex, Majestics... ausser dass Sie Traffic verursachen und nur sekundenweise meine Seite besuchen.

Was nutzt mir ungefilterter Traffic von Bots & Co. aus China und Russland bei einer auf den deutschsprachigen Raum ausgelegten Seite?


Baidu und Yandex sind auch Suchmaschinen


Und Sumas sperrt man normalerweise nicht aus.



Kostenlose Backlinks: Hier lang <<<
00
Nach oben
swiat Private Nachricht senden WWW
Can

pr


: 30.10.2010
: 1037



: 14.06.2016, 16:30    : Bot / Crawler erkennen
Von: Can
Can
00 14.06.2016, 16:30
Antworten mit Zitat Antworten mit Zitat

superolli hat Folgendes geschrieben:
Was nutzen mir Crawler von Baidu, Yandex, Majestics... ausser dass Sie Traffic verursachen und nur sekundenweise meine Seite besuchen.

Was nutzt mir ungefilterter Traffic von Bots & Co. aus China und Russland bei einer auf den deutschsprachigen Raum ausgelegten Seite?


Brauchst du vllt Tipps wie du deine Zeit sinnvoller einsetzen kannst?
00
Nach oben
Can Private Nachricht senden
nerd

pr


: 15.02.2005
: 3897



: 15.06.2016, 06:08    : Bot / Crawler erkennen
Von: nerd
nerd
00 15.06.2016, 06:08
Antworten mit Zitat Antworten mit Zitat

Zum thema: wenn es dich so sehr stoert, dann suche nach "spider honeypot" oder so.
Meistens laeuft es so, dass du auf deiner seite einen link unterbingst der via JS oder CSS versteckt ist und in der robots.txt ausdruecklich auf disallow steht.

Bots, die diesen link aufrufen werden entweder per script ueber die IP fuer 2 wochen gesperrt (damit laeuft dir die sperrliste nicht irgendwann mal ueber wenn die ip staendig wechselt, und der kolatteralschaden fuer echte user haelt sich in grenzen) , oder bekommen nur noch dummy seiten mit lorem ipsum texten ausgeliefert.

Ich hab das mal im Internet gelesen!
00
Nach oben
nerd Private Nachricht senden
superolli

pr


: 22.07.2007
: 701



: 15.06.2016, 07:35    : Bot / Crawler erkennen
Von: superolli
superolli
00 15.06.2016, 07:35
Antworten mit Zitat Antworten mit Zitat

Jungs, es war anfangs eine ganz einfache Frage und danke für den Hinweis, dass Baidu und Yandex Suchmaschinen sind. Jetzt weiss ich endlich, warum ich hier im Forum mitlese.

Nochmal, ich gehe das erste mal seit rund 10 Jahren meine Logs durch und wollte einfach nur wissen, wie ich herausbekommen kann, wer das da so alles ist.

Und Danke Can, dass Du Dir über meine Zeiteinteilung Gedanken machst, aber wenn ich mich in Wordpress Foren (und anderen Foren...) so umsehe, gibt es nach Aussagen von Profis (wobei es mir nicht zusteht, deren fachliche Qualifikation zu bewerten) durchaus Gründe, einige Crawler, Bot, Spider, Harvester oder wie immer diese Teile auch genannt werden mögen auszuschließen. Stichwort Spam. Stichwort Ausspähen der Seite durch Mitbewerber. Stichwort Bounce Rate. Wenn man sich da etwas Zeit nimmt, gibt es noch diverse andere Erkentnisse.

Und ja, sogar einem Dau wie mir ist bewusst, dass das keine endgültige Sicherheit ist. Fakt ist aber, dass, nachdem ich 8 Länder augeschlossen habe, 95% aller unbekannten "Maschinen" verschwunden sind und nicht mehr die Performance stören.

@ nerd: das mit dem Honeypot hatte ich irgendwo gelesen, aber das war mir als Laie zu komplizert

Schönes für Ihr Kind | Malvorlagen & Allgemeines rund um die Familie
00
Nach oben
superolli Private Nachricht senden E-Mail senden WWW
Can

pr


: 30.10.2010
: 1037



: 15.06.2016, 08:22    : Bot / Crawler erkennen
Von: Can
Can
00 15.06.2016, 08:22
Antworten mit Zitat Antworten mit Zitat

superolli hat Folgendes geschrieben:
Jungs, es war anfangs eine ganz einfache Frage und danke für den Hinweis, dass Baidu und Yandex Suchmaschinen sind. Jetzt weiss ich endlich, warum ich hier im Forum mitlese.

Nochmal, ich gehe das erste mal seit rund 10 Jahren meine Logs durch und wollte einfach nur wissen, wie ich herausbekommen kann, wer das da so alles ist.

Und Danke Can, dass Du Dir über meine Zeiteinteilung Gedanken machst, aber wenn ich mich in Wordpress Foren (und anderen Foren...) so umsehe, gibt es nach Aussagen von Profis (wobei es mir nicht zusteht, deren fachliche Qualifikation zu bewerten) durchaus Gründe, einige Crawler, Bot, Spider, Harvester oder wie immer diese Teile auch genannt werden mögen auszuschließen. Stichwort Spam. Stichwort Ausspähen der Seite durch Mitbewerber. Stichwort Bounce Rate. Wenn man sich da etwas Zeit nimmt, gibt es noch diverse andere Erkentnisse.

Und ja, sogar einem Dau wie mir ist bewusst, dass das keine endgültige Sicherheit ist. Fakt ist aber, dass, nachdem ich 8 Länder augeschlossen habe, 95% aller unbekannten "Maschinen" verschwunden sind und nicht mehr die Performance stören.

@ nerd: das mit dem Honeypot hatte ich irgendwo gelesen, aber das war mir als Laie zu komplizert


Sorry aber so etwas ist einfach Bullshit. Wieso sollte der Bot der Daten für ein Forschungsprojekt einer Universtiät in Indonesien sammelt nicht auf deine Seite kommen? Hast du Länder komplett ausgeschlossen? Was ist mit Urlaubern die deine Seite aus unerklärlichen gründen für so wichtig erachten dass sie sie im Urlaub aufrufen wollen?

Die Bots die was "schlimmes" im Sinn haben werden Sperren sowieso umgehen

Das hier ist das globalisierte Internet, nicht dein Garten den du gegen deine Nachbarn verteidigen solltest.
00
Nach oben
Can Private Nachricht senden
nerd

pr


: 15.02.2005
: 3897



: 16.06.2016, 00:10    : Bot / Crawler erkennen
Von: nerd
nerd
00 16.06.2016, 00:10
Antworten mit Zitat Antworten mit Zitat

Can hat Folgendes geschrieben:

Die Bots die was "schlimmes" im Sinn haben werden Sperren sowieso umgehen


Nur wenn du eine grosse seite mit viel reichweite hast wo es sich lohnen wuerde z.b. kommentarspam oder links abzuladen. Wenn du einfach nur tschackelines-nagelstudio.de bist dann ziehen die bots weiter wenn sie keinen messbaren erfolg haben.

Can hat Folgendes geschrieben:

Das hier ist das globalisierte Internet, nicht dein Garten den du gegen deine Nachbarn verteidigen solltest.


Falsch, denn wer sein grundstueck unbeaufsichtigt und ohne zaun stehen laesst, sieht es spaeter von unkraut und muell zugepflastert. Schau dir mal alte foren, blogs oder gaestebuecher an die nur noch von bots besucht werden.

Irgendjemand hatte mal das pech, dass ihn die immer selben bots in seinem verlassenen foren irgendwelche untergrund-seiten beworben haben, und sein forum stand dann dazu ganz oben bei google zu irgendwelchen sexualpraktiken, die in allen staaten (ausser dem vatikan und der katholischen kirche - hust hust) illegal sind ...

Wie wuerde dir sowas passen, noch dazu wenn dein name im impressum steht, und deine familie, arbeitgeber usw. darauf aufmerksam werden?

Daneben sind noch jede menge spybots und crawler unterwegs die entweder nach urheberrechtsverletzungen, irgendwelchen anderen abmahnfaehigen inhalten suchen oder es sind die bots von seo tools die deine links und keywords fuer ihre datenbank sammeln, und diese gesammelten daten dann z.b auch an deine konkurenz verkaufen.

Je nachdem um welches themengebiet es geht, wuerde ich mir noch ueberlegen den bot von archive.org per robots.txt auszusprerren - rechtsanwaelte lieben archive.org!

Ich hab das mal im Internet gelesen!
00
Nach oben
nerd Private Nachricht senden
Can

pr


: 30.10.2010
: 1037



: 16.06.2016, 09:32    : Bot / Crawler erkennen
Von: Can
Can
01 16.06.2016, 09:32
Antworten mit Zitat Antworten mit Zitat

nerd hat Folgendes geschrieben:
Can hat Folgendes geschrieben:

Die Bots die was "schlimmes" im Sinn haben werden Sperren sowieso umgehen


Nur wenn du eine grosse seite mit viel reichweite hast wo es sich lohnen wuerde z.b. kommentarspam oder links abzuladen. Wenn du einfach nur tschackelines-nagelstudio.de bist dann ziehen die bots weiter wenn sie keinen messbaren erfolg haben.

Can hat Folgendes geschrieben:

Das hier ist das globalisierte Internet, nicht dein Garten den du gegen deine Nachbarn verteidigen solltest.


Falsch, denn wer sein grundstueck unbeaufsichtigt und ohne zaun stehen laesst, sieht es spaeter von unkraut und muell zugepflastert. Schau dir mal alte foren, blogs oder gaestebuecher an die nur noch von bots besucht werden.

Irgendjemand hatte mal das pech, dass ihn die immer selben bots in seinem verlassenen foren irgendwelche untergrund-seiten beworben haben, und sein forum stand dann dazu ganz oben bei google zu irgendwelchen sexualpraktiken, die in allen staaten (ausser dem vatikan und der katholischen kirche - hust hust) illegal sind ...

Wie wuerde dir sowas passen, noch dazu wenn dein name im impressum steht, und deine familie, arbeitgeber usw. darauf aufmerksam werden?

Daneben sind noch jede menge spybots und crawler unterwegs die entweder nach urheberrechtsverletzungen, irgendwelchen anderen abmahnfaehigen inhalten suchen oder es sind die bots von seo tools die deine links und keywords fuer ihre datenbank sammeln, und diese gesammelten daten dann z.b auch an deine konkurenz verkaufen.

Je nachdem um welches themengebiet es geht, wuerde ich mir noch ueberlegen den bot von archive.org per robots.txt auszusprerren - rechtsanwaelte lieben archive.org!



Herzlichen Glückwunsch du hast dir den TItel Evolutionsbremse wirklich verdient.

Bots sind im Internet so etwas wie Bakterien und erfüllen oft einen guten Zweck. Dein Vergleich hinkt, wer seine Seite nicht moderieren kann sollte keine Kommentarfunktion anbieten.

Ich hoffe, dass du kein Geld im Internet verdienst so wie du dich in ihm bewegst, deinen Posts nach sieht es aber ja so aus. Ich hab schon für mehrere Forschungsprojekte auf Bots zurückgegriffen und bin daher absolut gegen eine unnöttige Totalaussperrung.
01
Nach oben
Can Private Nachricht senden
servicepointde

pr


: 23.05.2016
: 49



: 16.06.2016, 10:39    : Bot / Crawler erkennen
Von: servicepointde
servicepointde
00 16.06.2016, 10:39
Antworten mit Zitat Antworten mit Zitat

Wenn es mit vertretbaren Aufwand geht sollte man Bots, die einem nichts nützen natürlich aussperren (wo liegt der Nutzen für die betreffende Seite?)00
Nach oben
servicepointde Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Gehe zu Seite 1, 2  Weiter
Seite 1 von 2
Gehe zu Seite 1, 2  Weiter
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Schlechte Backlinks erkennen, wie? (Webmaster Tools) Schlechte Backlinks erkennen, wie? (W... Zoja Google Pagerank und Backlink-Forum 6 22.12.2017, 13:43 Schlechte Backlinks erkennen, wie? (Webmaster Tools)
Tools um Google Penalty zu erkennen Tools um Google Penalty zu erkennen Norm81 Google Forum 3 24.09.2017, 20:07 Tools um Google Penalty zu erkennen
Bannertauschsystem erkennen Bannertauschsystem erkennen Openprizes Ich hab' da mal 'ne Frage 1 28.01.2017, 17:58 Bannertauschsystem erkennen
Ausgehende Links bei gehackter Webseite schneller erkennen Ausgehende Links bei gehackter Websei... BadCat Ich hab' da mal 'ne Frage 2 22.11.2016, 13:32 Ausgehende Links bei gehackter Webseite schneller erkennen
iFrame - wie erkennen? iFrame - wie erkennen? ischhabdamalnefrage Ich hab' da mal 'ne Frage 1 07.08.2016, 14:04 iFrame - wie erkennen?
27 Domains mit Backlinks - Probleme mit Google Crawler? 27 Domains mit Backlinks - Probleme m... Dog Google Pagerank und Backlink-Forum 9 17.06.2016, 16:50 27 Domains mit Backlinks - Probleme mit Google Crawler?
Neues Keyword Crawler Tool MostWanted kostenlos verfügbar. Neues Keyword Crawler Tool MostWanted... op3n SEO Tools & Suchmaschinenmarketing-Tools 7 07.06.2016, 11:39 Neues Keyword Crawler Tool MostWanted kostenlos verfügbar.


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Bot / Crawler erkennen Bot / Crawler erkennen - Österreich Bot / Crawler erkennen - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Bot / Crawler erkennen