|
|
speditionen
: 14.11.2011
: 5
|
| : 03.12.2011, 09:49 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
Hallo
Ich betreibe ein Forum mit mehr als 7000 Mitgliedern
und derzeit sind 111.000 Seiten vorhanden.
Der Boots hat dummerweise mehrere Anfragen pro sec. gestartet.
Dabei wurden Zession gestartet und nicht geschlossen. Die Folge war, dass die Datenbank abstürzte.
Nach dem 24.000 Seiten gescannt waren hat mein Programmierer die Seite ausgesperrt.
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* http://www.google.de [L,NC,QSA]
Meine Frage ist nun, was für Informationen benötigt Jemand über ein Forum, die einzelnen Beiträge sind doch schnarch langweilig.
Was macht einer mit solchen Daten?
Hat jemand eine Idee
Grüße |
|
| Nach oben |
|
 |
kostaki
: 26.10.2009
: 172
: Berlin
|
| : 03.12.2011, 10:04 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
Schätze mal es geht um die Backlinksuche.
Bots unterstützen meistens keine Sessions, da sie keine Cookie speichern. Du kannst den Bot auch sicher über die robots.txt aussperren.
Expired Domains » peew.de |
|
| Nach oben |
|
|
mwitte
: 08.09.2006
: 1912
: Ladbergen
|
| : 03.12.2011, 12:11 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
Vielleicht fragst du einfach mal Johannes dazu
Der meldet sich aber auch sicher hier zu Wort
Suche und biete Linktausch für verschiedene Projekte.
SPRACHKURSE, LÄNDER, REISEN, PFERDE, URLAUB...
Einfach kurze PM mit Euren Seiten an mich. Danke!
Wichtigste Forumregel: Nimm NICHTS persönlich -- alles ist Feedback... |
|
| Nach oben |
|
|
Thorny
: 08.01.2008
: 107
|
| : 04.12.2011, 22:10 : Re: SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
Hallo,
| speditionen hat Folgendes geschrieben: |
Ich betreibe ein Forum mit mehr als 7000 Mitgliedern
und derzeit sind 111.000 Seiten vorhanden.
Der Boots hat dummerweise mehrere Anfragen pro sec. gestartet.
Dabei wurden Zession gestartet und nicht geschlossen. Die Folge war, dass die Datenbank abstürzte. |
Das klingt ehrlich gesagt auch nach einem technischen Problem deines Forums. Würdest du mir eine URL mitteilen, häufig läßt sich bereits auf den ersten Blick etwas sehen.
Ansonsten kannst du alle guten Bots per robots.txt aussperren.
| : |
Meine Frage ist nun, was für Informationen benötigt Jemand über ein Forum, die einzelnen Beiträge sind doch schnarch langweilig.
Was macht einer mit solchen Daten?
|
Das ist ganz unterschiedlich. Bei Sistrix würde ich auf die Analyze von Backlinks tippen. Ich betreibe zum Beispiel einen Crawler, um Domainnamen aufzutreiben und Plagiate zu finden. Die Anwendungsgebiete sind sehr vielfältig, aber am besten ist es einfach, den Betreiber zu befragen. Sistrix ist nicht gerade unbekannt und steht sicher gerne für Antworten zur Verfügung.
Gruß,
Torsten
http://www.ex-domain.de - kostenlos gelöschte Domains finden |
|
| Nach oben |
|
|
Malte Landwehr
: 22.05.2005
: 2875
: Münster
|
| : 04.12.2011, 22:23 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
Angeblich soll folgender Eintrag in der robots.txt helfen:
| Code: |
User-agent: sistrix
Disallow: / |
edit:
Das Thema hatten wir 2009 schon mal: http://www.abakus-internet-marketing.de/foren/viewtopic/t-79937.html
edit 2:
Nach Lektüre des Threads aus 2009 scheint meine erste Aussage bezüglich User-Agent und Robots.txt korrekt zu sein.
edit 3:
Auch damals war mwitte der 2. Antworter und hat nach Johannes gerufen.
 |
|
| Nach oben |
|
|
mwitte
: 08.09.2006
: 1912
: Ladbergen
|
| : 05.12.2011, 07:13 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
| Malte Landwehr hat Folgendes geschrieben: |
edit 3:
Auch damals war mwitte der 2. Antworter und hat nach Johannes gerufen. |
Stimmt 
| mwitte hat Folgendes geschrieben: |
Schon mit einer Email an Johannes versucht?
Oft ist das Naheliegendste auch das Einfachste... |
Suche und biete Linktausch für verschiedene Projekte.
SPRACHKURSE, LÄNDER, REISEN, PFERDE, URLAUB...
Einfach kurze PM mit Euren Seiten an mich. Danke!
Wichtigste Forumregel: Nimm NICHTS persönlich -- alles ist Feedback... |
|
| Nach oben |
|
|
speditionen
: 14.11.2011
: 5
|
| : 05.12.2011, 11:06 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
Hallo
Erst hat die Aussperrung gklappt, dann kamen Sie mit neuer IP und veränderten Namen wieder.
Ist wohl keine nachhaltige Abwehr möglich?
User-agent: sistrix
Disallow: /
-----
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* http://www.google.de [L,NC,QSA]
-----
Diese Angaben wurden überhaupt nicht beachtet
Grüße |
|
| Nach oben |
|
|
Thorny
: 08.01.2008
: 107
|
| : 05.12.2011, 12:30 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
Hast du Sistrix denn mal kontaktiert?
Für den Fall, dass das nicht klappt, was ich mir aber schwer vorstellen kann, kann man noch immer eine Abuse Nachricht an den jeweiligen Netzwerkbetreiber schicken.
http://www.ex-domain.de - kostenlos gelöschte Domains finden |
|
| Nach oben |
|
|
seorotiker
: 06.03.2011
: 77
|
| : 28.12.2011, 16:57 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
| speditionen hat Folgendes geschrieben: |
Hallo
Erst hat die Aussperrung gklappt, dann kamen Sie mit neuer IP und veränderten Namen wieder.
Ist wohl keine nachhaltige Abwehr möglich?
User-agent: sistrix
Disallow: /
-----
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* http://www.google.de [L,NC,QSA]
-----
Diese Angaben wurden überhaupt nicht beachtet
Grüße |
Klingt nicht nach Johannes. Eher nach nem Chinesen-Bot, der sich als sistrix ausgibt. von irgend einem Zombie-Rechner. Daher auch die andere IP
Hier wurde das mit google auch schonmal beobachtet: http://www.forumpostersunion.com/showthread.php?t=2130
Und hier google´s antwort, um zumindest den googlebot zu verifizieren: http://googlewebmastercentral.blogspot.com/2006/09/how-to-verify-googlebot.html
Könnte man als Workaround auch für sistrix benutzen. und dann sistrix wieder erlauben. |
|
| Nach oben |
|
|
stzweio
: 20.06.2011
: 123
: Rhein-Neckar-Kreis
|
| : 28.12.2011, 19:21 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
jau, gerade vor 20 Minuten hat mich auch .cn-Bot (rs.hntelecom.net.cn) genervt und meine schönen Referer-SERP-Longtail Logs geflutet.
Bei sowas hilft am Besten die große Keule, serverweit:
iptables -I INPUT -s 218.77.120.135 -j DROP
Kommt leider alle paar Tage mal vor in großen Mengen ... |
|
| Nach oben |
|
|
seorotiker
: 06.03.2011
: 77
|
| : 29.12.2011, 03:10 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
| stzweio hat Folgendes geschrieben: |
jau, gerade vor 20 Minuten hat mich auch .cn-Bot (rs.hntelecom.net.cn) genervt und meine schönen Referer-SERP-Longtail Logs geflutet.
Bei sowas hilft am Besten die große Keule, serverweit:
iptables -I INPUT -s 218.77.120.135 -j DROP
Kommt leider alle paar Tage mal vor in großen Mengen ... |
Ei sieschte mal... 
Johannes wird wohl kaum durch son Mist den Unmut der Webmaster und Communitymanager auf sich ziehen wollen, denen er doch sein Produkt, die Suite vermietet. Insofern ist der Verdacht "Sistrix käme nach veränderter Useragent-ID einfach wieder" meines Erachtens von Anfang an schon Blödsinn. Außerdem veränderte IP? Bei sowas heult bei mir immer die Russen/Chinesen-Sirene.
Und das Herr Beus auf solche Mutmaßungen nicht hier reagiert, ist sein gutes Recht: Man muss nicht jeden Unfug kommentieren |
|
| Nach oben |
|
|
stzweio
: 20.06.2011
: 123
: Rhein-Neckar-Kreis
|
| : 29.12.2011, 09:44 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
[quote="seorotiker"]
| stzweio hat Folgendes geschrieben: |
| Ei sieschte mal... |
sieschte mal was? Der Threadersteller hat aber von nem Bot geschrieben der "Sistrix" im UA hatte, meiner war nur ein Beispiel. |
|
| Nach oben |
|
|
bfs
: 21.10.2008
: 42
|
| : 29.12.2011, 10:13 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
| speditionen hat Folgendes geschrieben: |
User-agent: sistrix
Disallow: /
-----
RewriteCond %{HTTP_USER_AGENT} ^SISTRIX.* [OR]
RewriteRule .* http://www.google.de [L,NC,QSA]
-----
Diese Angaben wurden überhaupt nicht beachtet
|
Wie soll sistrix deine robots.txt beachten, wenn du ihn gleich zu google schickst? So wird sein Crawler zwangsläufig nie erfahren, dass er deine Seite nicht spidern darf und folgerichtig weiterhin jeden Link verfolgen. (Grundlagenwissen) |
|
| Nach oben |
|
|
seorotiker
: 06.03.2011
: 77
|
| : 29.12.2011, 10:41 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
| stzweio hat Folgendes geschrieben: |
Der Threadersteller hat aber von nem Bot geschrieben der "Sistrix" im UA hatte, meiner war nur ein Beispiel. |
Ich glaube nicht dass es SISTRIX ist, der da crawlt. Denn sistrix bringt keine DB´s zum Absturz. aber Fakebots schon. Also beispielsweise "Sistrix" mit ner IP von t-online oder 1und1... |
|
| Nach oben |
|
|
stzweio
: 20.06.2011
: 123
: Rhein-Neckar-Kreis
|
| : 29.12.2011, 10:44 : SISTRIX hat mein Forum 2 mal zum Absturz gebracht |
|
|
achso meinst du, ja das kann natürlich sein.
Der String "Sistrix" war ja auch nur im UA, welcher Hostname benutzt wurde hat er ja nicht geschrieben .... und Sistrix hat wohl schon nen eigenen Host(?) |
|
| Nach oben |
|
|
![[S] Experte (m/w) für VBulletin Forum](/foren/templates/DesertStorm/images/folder_lock.gif)
![[S] Experte (m/w) für VBulletin Forum](/foren/templates/DesertStorm/images/icon_latest_reply.gif){kind=icon}
