Suchmaschinenoptimierung
   
 

SEMSEO Konferenz 2012
 

 
 

Eine aktuelle Zusammenstellung von Bot-Ungeziefer ...

Gehe zu Seite Zurück  1, 2
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 Neuer Bot, der dürfte doch noch gar nicht da sein Robots sperren: Wie definiert man Ausnahmen und IP-Blöcke?  
hard_pollux

pr


: 10.03.2004
: 1060



: 30.04.2005, 20:07    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

mario,

:
... so fern es anständige unmanpulierte sind


bislang bestand kein Bedarf für Bots mit Referrer, und ich weiß auch nicht, wie hoch der Aufwand für eine solche Nachrüstung ist, da eine htaccess immer nur für das jeweilige Verzeichnis und die darunterliegenden gilt, wäre bei Bedarf ein Nachziehen meinerseits ein Klax.
Also "htaccess" ist ein ganz spannendes Thema, und wenn ich etwas mehr Zeit habe, werde ich mich damit mal eingehend befassen.



:
... so ein "Bötchen=bot" läuft schnell mal als maskiertes Fräulein rum

Wenn er denn weiß, was er "anziehen muß".
Sicherliich ließe sich die "Kleiderordnung" für einzelne Verzeichnisse unterschiedlich gestalten. Also Möglichkeiten gibt es unendlich, wenn man sich mal mit der Materie befaßt, und ich denke, daß in der Zukunft kein Weg daran vorbeiführen wird, will man nicht überrannt werden.

Und die Gegenseite rüstet auf. Vor einigen Tagen erlangte ich einen zufälligen Einblick in die gewaltigen Erweiterungen und Zukäufe der Gegenseite, und ich dachte mir: "... was bin ich doch für ein "kleines Licht" auf diesem Gebiet".
Es hat mich aber dazu angespornt, selber aufzurüsten und zu erweitern.
40 (in Worten: vierzig) Domains reichen nicht aus, um wirkungsvolle Strategien dagegen aufzubauen.

Darüberhinaus mußte ich kürzlich feststellen, anhand eines nicht nachvollziehbaren Referrers, daß jemand versucht, einen meiner Satelliten bei Google "abzuschießen".
Ich selbst wäre von mir aus niemals zun Überlegungen in dieser Richtung gekommen, aber diese Begebenheit zwang mich zu entsprechenden Überlegungen und Tests - Ergebnis: Positiv.

Über diese Schiene ließen sich schlußendlich auch Maßnahmen kreieren, um denen beizukommen, welchen versuchen, sich über diesen Umweg:
:
<der sollte das vorsorglich nur über außereuropäische Server bewerkstelligen.
... und genau da liegt die Crux

etwaigen juristischen Schlägen zu entziehen.

Kleine Empfehlung an jene, deren Domains bei Google einem "plötzlichen Kindstod" (Man möge mir die Verwendung dieses Begriffes nachsehen, es handelt sich keineswegs um eine Respeklosigkeit gegenüber Angehörigen, welche von diesem Schiksal betroffen sind. Der Begriff wird hier lediglich in Anlehnung an ein unbegreifliches Ereignis benutzt!) anheim fielen: Durchforstet mal eure Logs auf Komischkeiten ggf. das gesamte Umfeld.

Gruß
HardPollux


Zuletzt bearbeitet von hard_pollux am 02.05.2005, 02:34, insgesamt einmal bearbeitet
Nach oben
hard_pollux Private Nachricht senden
Lutz-Development

pr


: 31.05.2004
: 534



: 01.05.2005, 15:08    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

Hi HardPollux,

wie durchforstet du deine Logs? Welches Programm verwendest du?

Muss man beim Apache irgendetwas besonderes einstellen, um detailliert genügende Logs zu bekommen? Machen verschiedene Logs nach Domain Sinn oder schafft das ein Programm selbst zu trennen?

Vielen Dank im Voraus.

Gruß,
Thomas

wir waten durch ein meer von blut, gib uns dafür kraft und mut. in nomine patris et filii et spiritus sancti!
Nach oben
Lutz-Development Private Nachricht senden
mario

pr


: 15.08.2003
: 3133



: 01.05.2005, 18:17    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

eigentlich müsste man die eigenen Logfiles durchsieben. Das Sieb wäre beispielsweise meine .htaccess. Alles was unten rauskommt könnte man in einer Whitelist freischalten. Aber allein das zusammentragen aller Logfiles bedeutet erheblicher Aufwand. Dann bleibe ich vorerst bei meiner Blacklist, dann ist das Sieb vorort. Die Serverbelastung bei 600 Zeilen spüre ich kaum...

Mario
...leben und leben lassen
Nach oben
mario Private Nachricht senden
hard_pollux

pr


: 10.03.2004
: 1060



: 01.05.2005, 23:45    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

Lutz-Development,

:
wie durchforstet du deine Logs? Welches Programm verwendest du?


ich muß zu meiner Schande gestehen, daß meine Präferenz: "stichprobenartig-manuell" ist.
Bei nicht erklärbaren Auffälligkeiten nutze ich einen PHP-Eigenbau, welcher seitenweise zusätzlich eingesetzt und täglich manuell überprüft wird.
Auch für Testzwecke nutze ich den, ist an Comfort nicht zu unterbieten.

Zum Überschlagen nutze ich die Stats mit Zusatztool von 1u1, kostet 5,-- im Monat - ob sich das aber lohnt, da habe ich so meine Zweifel.

Auf einigen Domains nutze ich einige unterschiedliche Tools aus der Freeware-Scene, welche aber ausschließlich auf eigenen Domains laufen.

Was ich da so empehlen kann, ist: www.stwc-counter.de - graphisch vielleicht nicht so toll, aber der Funktionsumfang ist ok, wenngleich auch noch verbesserungsfähig.

@mario,

:
Die Serverbelastung bei 600 Zeilen spüre ich kaum...


ich verrate Dir sicherlich kein Geheimnis, wenn ich Dir erzähle, daß das noch nicht das "Ende der Fahnenstange" ist. Und solange Google den Adsense-Mißbrauch nicht eindämmt, wird es hier weiter unkontrollierten Wildwuchs geben.

Gruß
HardPollux
Nach oben
hard_pollux Private Nachricht senden
hard_pollux

pr


: 10.03.2004
: 1060



: 02.05.2005, 07:00    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

Hier noch eine frisch gefundene Liste: http://www.pgts.com.au/pgtsj/pgtsj0208d.html

Wie gehaltvoll sie ist, habe ich nicht überprüft, da ich sowas nicht mehr benötige.

Gruß
HardPollux
Nach oben
hard_pollux Private Nachricht senden
overflood

pr


: 02.03.2005
: 266
: Kassel


: 04.05.2005, 18:36    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

hm.. Leute ohne Referrer aussperren ist gefährlich, da die Referrer im Browser oft von Personal (schwachsinnigen) Firewalls geblockt werden und von manchen Browser-Extensions.. allem in allem finde ich die Whitelist ne recht gute Idee, aber nichts für Seiten dies nicht wirklich verdient haben.

Internetagentur | Artikel schreiben | Artikelverzeichnis-Script kaufen | Dein Dach noch fit?
Nichts ist wertvoller auf der Welt, als eine Idee, deren Zeit gekommen ist. Victor Hugo
Nach oben
overflood Private Nachricht senden WWW AIM-Name Yahoo Messenger MSN Messenger
hard_pollux

pr


: 10.03.2004
: 1060



: 06.05.2005, 01:32    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

overflood,

:
Leute ohne Referrer aussperren ist gefährlich, ...


da ist was dran.

Mir geht es ja auch in der Hautsache darum, diese unerwünschten Bots auszusperren, und dies unter der Maßgabe, daß die .htaccess schlank und überschaubar bleibt - robots.txt ist da für mich kein Thema.

Interessanterweise habe ich heute tatsächlich einen Bot mit Referrer entdeckt - kaum zu glauben, aber wahr.
Nun könnte ich zwar t-online und AOL ausnehmen, aber dann habe ich diese Saugetools am Hals.
Eine optimale Lösung ist vielleicht noch etwas entfernt, aber ich arbeite daran.

Gruß
HardPollux
Nach oben
hard_pollux Private Nachricht senden
mario

pr


: 15.08.2003
: 3133



: 17.07.2005, 10:41    : Re: Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

@bull

Robozilla/1.0 ausschliessen ist "tödlich", dann sind die Seiten weg im DMOZ-Directory !!!

Mario
...leben und leben lassen
Nach oben
mario Private Nachricht senden
mario

pr


: 15.08.2003
: 3133



: 17.07.2005, 11:08    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

1)
Mozilla/4.0 (compatible; MSIE 4.01; Windows NT) ist das ein Guter oder Böser?

2)
und der hier ist sicher kein Freund oder?
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.7. Gecko/20050511 Firefox/1.0.4

Mario
...leben und leben lassen
Nach oben
mario Private Nachricht senden
MusiX

pr


: 11.02.2004
: 19



: 28.10.2005, 22:50    : Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... Antworten mit Zitat

Bin aus aktuellem Anlass auf der Suche nach einer aktuellen .htaccess-Liste mit Bot-Ungeziefer. Verwende momentan die Liste von hard_pollux am Anfang dieses Threads, ist die noch einigermassen aktuell?

Danke
Nach oben
MusiX Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen
Seite 2 von 2
Gehe zu Seite Zurück  1, 2

 






Ähnliche Beiträge
Thema Forum Antworten
[S] Grafiker für eine Infografik [S] Grafiker für eine Infografik Beyin Marktplatz: Dienstleistungen 0 09.02.2012, 15:17 [S] Grafiker für eine Infografik
hat jemand eine aktuelle liste über Adultwebkataloge? hat jemand eine aktuelle liste über A... Rüppel Ich hab' da mal 'ne Frage 4 05.02.2012, 20:15 hat jemand eine aktuelle liste über Adultwebkataloge?
Gastartikel-Anfrage - Ablehnen oder nur gegen eine Gebühr? Gastartikel-Anfrage - Ablehnen oder n... Nokes Ich hab' da mal 'ne Frage 9 01.02.2012, 09:59 Gastartikel-Anfrage - Ablehnen oder nur gegen eine Gebühr?
Wie seriös ist eine seriöse seo Firma ? Wie seriös ist eine seriöse seo Firma ? Fabianos Internet-Recht & -Gesetz 18 28.01.2012, 18:02 Wie seriös ist eine seriöse seo Firma ?
Programmierung eine Reisedatenbank Programmierung eine Reisedatenbank htegeler Webprogrammierung, Templatedesign & Microformats 10 28.01.2012, 11:36 Programmierung eine Reisedatenbank
Was bekomme ich für eine vermieteten link Was bekomme ich für eine vermieteten ... seo_leo Domainpopularität / Linkpopularität / Links aufbauen 7 24.01.2012, 08:14 Was bekomme ich für eine vermieteten link
Social Bookmark Submitter - Wer kennt eine gute Software Social Bookmark Submitter - Wer kennt... vital270 SEO Tools & Suchmaschinenmarketing-Tools 4 23.01.2012, 15:35 Social Bookmark Submitter - Wer kennt eine gute Software

Suchmaschinenoptimierung | Latent Semantische Optimierung (LSO) | SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Online Marketing

Impressum

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Eine aktuelle Zusammenstellung von Bot-Ungeziefer ... - Seite 2