|
|
nerd
: 15.02.2005
: 3858
|
| : 17.06.2016, 00:34 : Bot / Crawler erkennen |
Von: nerd
|
 0 0
17.06.2016, 00:34
|
|
|
| Can hat Folgendes geschrieben: |
Bots sind im Internet so etwas wie Bakterien und erfüllen oft einen guten Zweck. Dein Vergleich hinkt, wer seine Seite nicht moderieren kann sollte keine Kommentarfunktion anbieten.
|
Schau dich mal auf "SEO dienstleistung"-seiten und marktplaetzen um und lies dir mal die angebote dam thema linkbuilding dort durch. Ein paar tausend links zum preis einer tasse kaffe? Glaubst du da sitzten leute dahinter die seine seite im browser besuchen und dein forum zuspammen? DAS sind die bots von dehnen hier die rede ist! Genauso wie bots die deine seite nach sicherheitsluecken in gaengigen CMS durchtesten, standard passwoerter durchprobieren oder andere skript-kiddies die deinen server nach offen mailservern, rdp-servern, ssh oder anderen diensten testen um dann die zugaenge zu verkaufen  .
| Can hat Folgendes geschrieben: |
| Ich hoffe, dass du kein Geld im Internet verdienst so wie du dich in ihm bewegst, deinen Posts nach sieht es aber ja so aus. Ich hab schon für mehrere Forschungsprojekte auf Bots zurückgegriffen und bin daher absolut gegen eine unnöttige Totalaussperrung. |
Na ich hoffe mal du betreibst mit deinem optimismus keinen server am internet, der dann zur spamschleuder und zum problem fuer andere wird.
Ach ne, kriminelle und arschloescher gibts ja nicht im internet, und die 50% bottraffic auf deinem webserver sind alles harmlose studien der universitaet von narnia und klickbots die dein anzeigen budget bei google oder anderen werbenetzwerken weglicken und dich damit richtig geld kosten gibt es bei dir gluecklicherweise auch nicht ...
Ich hab das mal im Internet gelesen!00 |
|
| Nach oben |
|
 |
ABAKUS
| | : Werbung | |
| 
Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de
|
|
 |
superolli
: 22.07.2007
: 701
|
| : 20.06.2016, 09:19 : Bot / Crawler erkennen |
Von: superolli
|
00
20.06.2016, 09:19
|
|
|
"Sorry aber so etwas ist einfach Bullshit. Wieso sollte der Bot der Daten für ein Forschungsprojekt einer Universtiät in Indonesien sammelt nicht auf deine Seite kommen? Hast du Länder komplett ausgeschlossen? Was ist mit Urlaubern die deine Seite aus unerklärlichen gründen für so wichtig erachten dass sie sie im Urlaub aufrufen wollen?"
Hm, lass mich nachdenken. Wie wahrscheinlich ist es, dass indonesische Universitäten meine Seiten durchsuchen? Und wenn Urlauber ausgerechnet direkt vor ihrem Indonesienurlaub die Erkenntnis erlangen, dass sie ohne meine Seite nicht mehr weiterleben können, dann kommen sie nach dem Urlaub sowieso wieder.
Und da ich sogar über den Rand meines Gartens hinausschaue, habe ich für ausländische Freunde sogar einen Translation Button eingebaut habe.
Can, Leute wie DU sind der Grund, warum ich meine Seitenzugriffe einschränken möchte.
Schönes für Ihr Kind | Malvorlagen & Allgemeines rund um die Familie00 |
|
| Nach oben |
|
|
Never.Amused
: 07.11.2008
: 336
|
| : 01.08.2016, 14:47 : Bot / Crawler erkennen |
Von: Never.Amused
|
10
01.08.2016, 14:47
|
|
|
@superrolli:
Plugin Wordfence --> Advanced Blocking und Rate Limiting Rules in den Options einstellen (z.B. If anyone's requests exceed: 120 per Minute --> Throttle it usw... ) oder in der Pro version Country Blocking
Bei einem guten Proxy-Setup kann man halt nix machen. Bester Schutz gegen spidern (ich schätze jetzt einfach mal deine wirkliche intention ist, dass dein Content nicht repliziert wird) sind unstrukturierte Daten. Deine Zitate in der Zitateseite sind schon realtiv unstrukturiert, da sie keine schemas und keine seperaten seiten pro zitat haben und nur mit <li> strukturiert werden. Der Autor ist immer am Ende innerhalb des <li> getrennt mit ". " (r'\.\s') zu sehen --> also scrapable.
Alles in allem: Für jemanden der deine Daten wirklich strukturiert auslesen will, kein Problem. Einen 100% scraping schutz in Verbindung mit SEO-freundlichkeit gibt es nicht.
Have fun
-"Never ask Abakus-Forum, if u expect a serious answer"
-"If u pay peanuts, u get monkeys!"
-"Wenn die Wurst so dick ist wie das Brot, darf das Brot so dick sein wie es will ."
-"Das kannste schon so machen, aber dann isses halt kacke!"
-"Viel Spass und trink nicht soviel." - Ja, was denn jetzt???
-"Ich geh so steil, dass senkrecht für mich schon bergab ist!!!"
-"Meine Meinung steht fest, verwirr mich nicht mit Tatsachen!"10 |
|
| Nach oben |
|
|
ABAKUS
| | : Werbung | |
|
Professionelles und nachhaltiges Linkbuilding bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich zu den Themen Offpage-Optimierung und Linkaufbau beraten!
Jetzt anfragen unter: www.abakus-internet-marketing.de
|
|
|
