Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Bot / Crawler erkennen

Neues Thema eröffnen   Neue Antwort erstellen Gehe zu Seite Zurück  1, 2
 robots.txt Chrome Extension Domain aus Google und Bing löschen  
nerd

pr


: 15.02.2005
: 3897



: 16.06.2016, 23:34    : Bot / Crawler erkennen
Von: nerd
nerd
00 16.06.2016, 23:34
Antworten mit Zitat Antworten mit Zitat

Can hat Folgendes geschrieben:

Bots sind im Internet so etwas wie Bakterien und erfüllen oft einen guten Zweck. Dein Vergleich hinkt, wer seine Seite nicht moderieren kann sollte keine Kommentarfunktion anbieten.


Schau dich mal auf "SEO dienstleistung"-seiten und marktplaetzen um und lies dir mal die angebote dam thema linkbuilding dort durch. Ein paar tausend links zum preis einer tasse kaffe? Glaubst du da sitzten leute dahinter die seine seite im browser besuchen und dein forum zuspammen? DAS sind die bots von dehnen hier die rede ist! Genauso wie bots die deine seite nach sicherheitsluecken in gaengigen CMS durchtesten, standard passwoerter durchprobieren oder andere skript-kiddies die deinen server nach offen mailservern, rdp-servern, ssh oder anderen diensten testen um dann die zugaenge zu verkaufen .


Can hat Folgendes geschrieben:
Ich hoffe, dass du kein Geld im Internet verdienst so wie du dich in ihm bewegst, deinen Posts nach sieht es aber ja so aus. Ich hab schon für mehrere Forschungsprojekte auf Bots zurückgegriffen und bin daher absolut gegen eine unnöttige Totalaussperrung.

Na ich hoffe mal du betreibst mit deinem optimismus keinen server am internet, der dann zur spamschleuder und zum problem fuer andere wird.
Ach ne, kriminelle und arschloescher gibts ja nicht im internet, und die 50% bottraffic auf deinem webserver sind alles harmlose studien der universitaet von narnia und klickbots die dein anzeigen budget bei google oder anderen werbenetzwerken weglicken und dich damit richtig geld kosten gibt es bei dir gluecklicherweise auch nicht ...

Ich hab das mal im Internet gelesen!
00
Nach oben
nerd Private Nachricht senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

superolli

pr


: 22.07.2007
: 701



: 20.06.2016, 08:19    : Bot / Crawler erkennen
Von: superolli
superolli
00 20.06.2016, 08:19
Antworten mit Zitat Antworten mit Zitat

"Sorry aber so etwas ist einfach Bullshit. Wieso sollte der Bot der Daten für ein Forschungsprojekt einer Universtiät in Indonesien sammelt nicht auf deine Seite kommen? Hast du Länder komplett ausgeschlossen? Was ist mit Urlaubern die deine Seite aus unerklärlichen gründen für so wichtig erachten dass sie sie im Urlaub aufrufen wollen?"

Hm, lass mich nachdenken. Wie wahrscheinlich ist es, dass indonesische Universitäten meine Seiten durchsuchen? Und wenn Urlauber ausgerechnet direkt vor ihrem Indonesienurlaub die Erkenntnis erlangen, dass sie ohne meine Seite nicht mehr weiterleben können, dann kommen sie nach dem Urlaub sowieso wieder.

Und da ich sogar über den Rand meines Gartens hinausschaue, habe ich für ausländische Freunde sogar einen Translation Button eingebaut habe.

Can, Leute wie DU sind der Grund, warum ich meine Seitenzugriffe einschränken möchte.

Schönes für Ihr Kind | Malvorlagen & Allgemeines rund um die Familie
00
Nach oben
superolli Private Nachricht senden E-Mail senden WWW
Never.Amused

pr


: 07.11.2008
: 336



: 01.08.2016, 13:47    : Bot / Crawler erkennen
Von: Never.Amused
Never.Amused
10 01.08.2016, 13:47
Antworten mit Zitat Antworten mit Zitat

@superrolli:

Plugin Wordfence --> Advanced Blocking und Rate Limiting Rules in den Options einstellen (z.B. If anyone's requests exceed: 120 per Minute --> Throttle it usw... ) oder in der Pro version Country Blocking

Bei einem guten Proxy-Setup kann man halt nix machen. Bester Schutz gegen spidern (ich schätze jetzt einfach mal deine wirkliche intention ist, dass dein Content nicht repliziert wird) sind unstrukturierte Daten. Deine Zitate in der Zitateseite sind schon realtiv unstrukturiert, da sie keine schemas und keine seperaten seiten pro zitat haben und nur mit <li> strukturiert werden. Der Autor ist immer am Ende innerhalb des <li> getrennt mit ". " (r'\.\s') zu sehen --> also scrapable.

Alles in allem: Für jemanden der deine Daten wirklich strukturiert auslesen will, kein Problem. Einen 100% scraping schutz in Verbindung mit SEO-freundlichkeit gibt es nicht.

Have fun

-"Never ask Abakus-Forum, if u expect a serious answer"
-"If u pay peanuts, u get monkeys!"
-"Wenn die Wurst so dick ist wie das Brot, darf das Brot so dick sein wie es will ."
-"Das kannste schon so machen, aber dann isses halt kacke!"
-"Viel Spass und trink nicht soviel." - Ja, was denn jetzt???
-"Ich geh so steil, dass senkrecht für mich schon bergab ist!!!"
-"Meine Meinung steht fest, verwirr mich nicht mit Tatsachen!"
10
Nach oben
Never.Amused Private Nachricht senden
ABAKUS


: Werbung 




Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de

Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Gehe zu Seite Zurück  1, 2
Seite 2 von 2
Gehe zu Seite Zurück  1, 2
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Schlechte Backlinks erkennen, wie? (Webmaster Tools) Schlechte Backlinks erkennen, wie? (W... Zoja Google Pagerank und Backlink-Forum 6 22.12.2017, 13:43 Schlechte Backlinks erkennen, wie? (Webmaster Tools)
Tools um Google Penalty zu erkennen Tools um Google Penalty zu erkennen Norm81 Google Forum 3 24.09.2017, 20:07 Tools um Google Penalty zu erkennen
Bannertauschsystem erkennen Bannertauschsystem erkennen Openprizes Ich hab' da mal 'ne Frage 1 28.01.2017, 17:58 Bannertauschsystem erkennen
Ausgehende Links bei gehackter Webseite schneller erkennen Ausgehende Links bei gehackter Websei... BadCat Ich hab' da mal 'ne Frage 2 22.11.2016, 13:32 Ausgehende Links bei gehackter Webseite schneller erkennen
iFrame - wie erkennen? iFrame - wie erkennen? ischhabdamalnefrage Ich hab' da mal 'ne Frage 1 07.08.2016, 14:04 iFrame - wie erkennen?
27 Domains mit Backlinks - Probleme mit Google Crawler? 27 Domains mit Backlinks - Probleme m... Dog Google Pagerank und Backlink-Forum 9 17.06.2016, 16:50 27 Domains mit Backlinks - Probleme mit Google Crawler?
Neues Keyword Crawler Tool MostWanted kostenlos verfügbar. Neues Keyword Crawler Tool MostWanted... op3n SEO Tools & Suchmaschinenmarketing-Tools 7 07.06.2016, 11:39 Neues Keyword Crawler Tool MostWanted kostenlos verfügbar.


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Bot / Crawler erkennen - Seite 2 Bot / Crawler erkennen - Seite 2 - Österreich Bot / Crawler erkennen - Seite 2 - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Bot / Crawler erkennen - Seite 2