AccessControl - Schutz von Foren und Websites

DieterW

Die Website Stop Forum Spam
ist offensichtlich einem feindlichen Angriff ausgesetzt und liefert derzeit nur noch

502 Bad Gateway
------------------------
nginx

Seltsam das 'nginx' mit der Lastverteilung überfordert ist - das kommt auch nicht oft vor.

Thomas B.

502 Bad Gateway kann bedeuten das der PHP Socket nicht erreichbar war. Vermutlich wurde die Konfiguration geändert.

Wenn der Server überlastet wäre würde eher so ein Fehler kommen:

503 Service Unavailable
504 Gateway Timeout

nerd · **nerd** » 12.01.2014, 22:54 **AccessControl - Schutz von Foren und Websites**

Was hat dieser ganzer thread (6 seiten!) inzwischen eigentlich noch mit "Spiders / Robots Themen" zu tun? Das hier liest sich praktisch wie DieterW's twitter account und ist auch genauso banal.

Bei mir gabs heute frueh Toastbrot (leicht angetoastet, mit halbfettmagarine und erdbeermarmelade) und kaffee (milch, ohne zucker) zum fruehstuck. Der Kaffee was ziehmlich mild; ich glaube morgen sollte ich ein bischen weniger milch nehmen. Ich werde euch auf jeden fall auf dem laufenden halten.

luzie · **luzie** » 13.01.2014, 11:27 **AccessControl - Schutz von Foren und Websites**

Ja, Herr DieterW braucht eine deutliche Warnung, einen seiner Threads habe ich schon ganz gelöscht.

Ab jetzt haben wir ein besseres Auge auf ihn ... ganz rausschmeissen will ich ihn noch nicht, bitte aber jederzeit um Meldung, wenn's wieder losgeht mit seinem AccessControl ...

Mann, wie ich Spammer hasse ...

Sciencefreak

luzie hat geschrieben:Mann, wie ich Spammer hasse ...

Hättet ihr doch bloß mal das AccessControl installiert...

(Sorry, ich konnte einfach nicht widerstehen und ich habs versucht. Ehrlich.

)

luzie · **luzie** » 13.01.2014, 17:03 **AccessControl - Schutz von Foren und Websites**

Sciencefreak hat geschrieben:Hättet ihr doch bloß mal das AccessControl installiert...

Hehehe

... ja ... hier bin ich das AccessControl-Modul g (und die anderen Mods)

DieterW

luzie hat geschrieben:
Sciencefreak hat geschrieben:Hättet ihr doch bloß mal das AccessControl installiert...
Hehehe ... ja ... hier bin ich das AccessControl-Modul g (und die anderen Mods)

Wenn Du Dir das Programm (den Code) tatsächlich angesehen und Fehler gefunden hättest, dann würde ich Deine (niedermach) Reaktion verstehen - aber sooooooooo???? ...

Thomas B.

DieterW hat geschrieben:Wenn Du Dir das Programm (den Code) tatsächlich angesehen und Fehler gefunden hättest, dann würde ich Deine (niedermach) Reaktion verstehen - aber sooooooooo???? ...

Ich hab mir deine Skripte durchgesehen und da gibt es wirklich viel was man besser machen könnte. Dazu gab ich dir auch schon ein Feedback. (siehe Seite 2)

So kann man dein Programm nur für kleine Seiten mit wenigen Besuchern/Seitenaufrufen einsetzen. An der Performance, Skalierbarkeit der Blockierung und an der Integration in die eigene Website muss noch viel getan werden.

Und wenn du dein Programm weiter verbreiten möchtest, verteile nicht einfach nur die PHP Skripte, schreibe Extensions für alle gängigen CMS und Shopsysteme.

Schöne Grüße
Thomas

@nerd: Was gibts Morgen?

DieterW

OK - ich habe dem Admin zugesagt, nur noch auf relevante Beiträge der User dieses Forums zu antworten - daher antworte ich auf den Beitrag von Thomas (und lasse einen Kommentar zum Frühstücksbuffet von 'nerd' aus)

Thomas B. hat geschrieben:
DieterW hat geschrieben:Wenn Du Dir das Programm (den Code) tatsächlich angesehen und Fehler gefunden hättest, dann würde ich Deine (niedermach) Reaktion verstehen - aber sooooooooo???? ...
Ich hab mir deine Skripte durchgesehen und da gibt es wirklich viel was man besser machen könnte. Dazu gab ich dir auch schon ein Feedback. (siehe Seite 2)

Für Dein Feedback hatte ich mich bedankt und ausführlich zu den von Dir genannten Punkten geantwortet - dann kam aber leider nichts mehr von Dir.

Übrigens:
zwischen Deinem Download der ZIP Datei und Deinem Feedback lagen gerade einmal 10 Minuten - ich nehme an, dass Du Dich inzwischen intensiver mit dem Code beschäftigt hast.

Thomas B. hat geschrieben:So kann man dein Programm nur für kleine Seiten mit wenigen Besuchern/Seitenaufrufen einsetzen.

Sorry - aber das ist nicht richtig.
Es ist auch nicht ersichtlich, an welcher Stelle des Programms Du diese Behauptung festmachst.
Hast Du mal einen Benchmark laufenlassen?

Thomas B. hat geschrieben:An der Performance, Skalierbarkeit der Blockierung und an der Integration in die eigene Website muss noch viel getan werden.

Performance:
das Programm benötigt für einen IP-Check nur wenige Millisekunden.
Gut - bei mehr als 1.000 gleichzeitigen Zugriffen unterschiedlicher User auf eine Website, könnte es u.U. zu Performanceproblemen kommen weil das Locking nicht mitkommt.

Skalierbarkeit der Blockierung:
bitte genauer erläutern was Du damit meinst

Integration in die eigene Website
wie man das macht ist in der Datei ReadMe beschrieben.
Es reicht (in den meisten Fällen) eine einzige Zeile Code.

Thomas B. hat geschrieben:Und wenn du dein Programm weiter verbreiten möchtest, verteile nicht einfach nur die PHP Skripte, schreibe Extensions für alle gängigen CMS und Shopsysteme.

Das System ist (wie Du ja sicher gesehen hast) als Modul aufgebaut und läßt sich in alle Programme die in perl oder php geschrieben sind, ganz schlicht per 'require' oder 'use' einbinden.
Extensions für alle gängigen CMS-, Foren-, Blog- und Shopsysteme zu schreiben setzt voraus, dass man diese Systeme installiert und somit die jeweiligen Lizenzen gekauft hat - ziemlich teurer Spass wäre das.

swiat · **swiat** » 14.01.2014, 17:16 **AccessControl - Schutz von Foren und Websites**

Ich möchte keine Werbung machen für andere Tools, aber was ist von diesem zu halten?

https://www.bot-trap.de/home/

Gruss

DieterW

swiat hat geschrieben:Ich möchte keine Werbung machen für andere Tools, aber was ist von diesem zu halten?

https://www.bot-trap.de/home/

Gruss

Vergleiche den Quellcode beider Programme, vergleiche die Sicherheit der Updates die beide Programme bieten und entscheide dann welches Programm Du verwenden möchtest.

Thomas B.

Ich habe mir jetzt wirklich mal die Mühe gemacht, das Tool einen kleinen Benchmark zu unterziehen.
Hier mal das Ergebnis: (Logischer Weise hab ich vorher einpaar IPs der Datenbank hinzugefügt.)

Code: Alles auswählen

PING up&#58;80 &#40;http&#58;//up/AccessControl_Distribution/acControl.php&#41;&#58;
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=0 time=753.96 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=1 time=635.62 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=2 time=737.15 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=3 time=636.33 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=4 time=666.89 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=5 time=686.07 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=6 time=637.66 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=7 time=626.23 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=8 time=636.26 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=9 time=737.40 ms
--- http&#58;//up/AccessControl_Distribution/acControl.php ping statistics ---
10 connects, 10 ok, 0.00% failed, time 33755ms
round-trip min/avg/max = 626.2/675.4/754.0 ms

Aus den wenigen Millisekunden sind dann fast eine Sekunde geworden. Eigentlich ist es wie ich sagte, solange nur wenig Besucher auf der Seite sind ist alles OK. Aber wenn es mehr werden geht die Performance stark zurück.

zwischen Deinem Download der ZIP Datei und Deinem Feedback lagen gerade einmal 10 Minuten - ich nehme an, dass Du Dich inzwischen intensiver mit dem Code beschäftigt hast.

Eigentlich lag fast eine Stunde dazwischen. Mein Download war 0:18 Uhr, der Post 1:15Uhr. Ich habe mir den Code schon sehr genau angesehen, da ich immer an Programmiertechniken von anderen Interessiert bin.

Skalierbarkeit der Blockierung:
bitte genauer erläutern was Du damit meinst

Viele User hier hatten geschrieben das Sie sofort geblockt wurden. Bei Spam Software kann man in der Regel festlegen wie aggressiv der Filter sein soll. Anders gesagt man sollte einstellen können ob eine verdächtige IP sofort oder erst nach mehreren Bestätigungen gesperrt wird.

Integration in die eigene Website
wie man das macht ist in der Datei ReadMe beschrieben.
Es reicht (in den meisten Fällen) eine einzige Zeile Code.

Das ist richtig, aber viele Blogger vor allem die Neueinsteiger sind damit schon überfordert.
Ein Plugin das Sie installieren können, wo Sie Ihre eMail und die anderen Konfigurationsparameter angeben können ist doch viel leichter. Vor allen mit einer Erklärung zu den Parametern in der entsprechenden Sprache.

Extensions für alle gängigen CMS-, Foren-, Blog- und Shopsysteme zu schreiben setzt voraus, dass man diese Systeme installiert und somit die jeweiligen Lizenzen gekauft hat - ziemlich teurer Spass wäre das.

WordPress, Joomla!, Drupal (als Beispiel) sind sehr beliebt und kosten nichts.

Schöne Grüße
Thomas

DieterW

Thomas B. hat geschrieben:Ich habe mir jetzt wirklich mal die Mühe gemacht, das Tool einen kleinen Benchmark zu unterziehen.
Hier mal das Ergebnis: (Logischer Weise hab ich vorher einpaar IPs der Datenbank hinzugefügt.)
Code: Alles auswählen
PING up&#58;80 &#40;http&#58;//up/AccessControl_Distribution/acControl.php&#41;&#58;
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=0 time=753.96 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=1 time=635.62 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=2 time=737.15 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=3 time=636.33 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=4 time=666.89 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=5 time=686.07 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=6 time=637.66 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=7 time=626.23 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=8 time=636.26 ms
connected to 127.0.0.1&#58;80 &#40;170 bytes&#41;, seq=9 time=737.40 ms
--- http&#58;//up/AccessControl_Distribution/acControl.php ping statistics ---
10 connects, 10 ok, 0.00% failed, time 33755ms
round-trip min/avg/max = 626.2/675.4/754.0 ms
Aus den wenigen Millisekunden sind dann fast eine Sekunde geworden. Eigentlich ist es wie ich sagte, solange nur wenig Besucher auf der Seite sind ist alles OK. Aber wenn es mehr werden geht die Performance stark zurück.

Es sieht so aus als hättest Du lediglich einen sequentiellen Test gemacht; das Ergebnis jedenfalls bezieht sich nicht auf die Anzahl gleichzeitiger Zugriffe.

Weiter sieht es so aus als wäre der Test auf ein und derselben Maschine gelaufen.
Damit treten dann konkurierende Prozesse auf die sich jeweils um Ausführungszeit bei der CPU bewerben müssen.

Hier jetzt mein Benchmark Test (gestartet von einer Windows Maschine und ausgeführt auf einem Apache unter Linux)

Code: Alles auswählen

Seite&#58; http&#58;//www.everyscript.de/xxx.php
Tests&#58; 10
Laufzeit Step 0&#58; 0.018 Sekunden
Laufzeit Step 1&#58; 0.002 Sekunden
Laufzeit Step 2&#58; 0.002 Sekunden
Laufzeit Step 3&#58; 0.002 Sekunden
Laufzeit Step 4&#58; 0.002 Sekunden
Laufzeit Step 5&#58; 0.002 Sekunden
Laufzeit Step 6&#58; 0.002 Sekunden
Laufzeit Step 7&#58; 0.002 Sekunden
Laufzeit Step 8&#58; 0.002 Sekunden
Laufzeit Step 9&#58; 0.002 Sekunden
Laufzeit gesamt&#58; 0.038 Sekunden
Durchschnittliche Laufzeit pro Durchlauf&#58; 0.0036 Sekunden

Thomas B. hat geschrieben:
Skalierbarkeit der Blockierung:
bitte genauer erläutern was Du damit meinst
Viele User hier hatten geschrieben das Sie sofort geblockt wurden.

Das war eine Falschaussage dieser User.
Der 1. Request läuft immer durch.

Thomas B. hat geschrieben:Bei Spam Software kann man in der Regel festlegen wie aggressiv der Filter sein soll. Anders gesagt man sollte einstellen können ob eine verdächtige IP sofort oder erst nach mehreren Bestätigungen gesperrt wird.

Die IPs der internen RBls sind bestätigte 'BadBoys'
Im Rahmen der Abfrage externer RBLs wird vom Programm gewichtet.

Thomas B. hat geschrieben:
Integration in die eigene Website
wie man das macht ist in der Datei ReadMe beschrieben.
Es reicht (in den meisten Fällen) eine einzige Zeile Code.
Das ist richtig, aber viele Blogger vor allem die Neueinsteiger sind damit schon überfordert.

Für diese Leute biete ich einen Installationsservice an.

Thomas B. hat geschrieben:Ein Plugin das Sie installieren können, wo Sie Ihre eMail und die anderen Konfigurationsparameter angeben können ist doch viel leichter. Vor allen mit einer Erklärung zu den Parametern in der entsprechenden Sprache.

Nun ja - an einem Installationsprogramm arbeite ich gerade

Thomas B. hat geschrieben:
Extensions für alle gängigen CMS-, Foren-, Blog- und Shopsysteme zu schreiben setzt voraus, dass man diese Systeme installiert und somit die jeweiligen Lizenzen gekauft hat - ziemlich teurer Spass wäre das.
WordPress, Joomla!, Drupal (als Beispiel) sind sehr beliebt und kosten nichts.

Dagegen ist auch nichts zu sagen ...
allerdings hast Du in Deinem vorangegangenen Posting bedeutend weiter ausgeholt.

Thomas B.

Code: Alles auswählen

Seite&#58; http&#58;//www.everyscript.de/xxx.php
Tests&#58; 10
....
Durchschnittliche Laufzeit pro Durchlauf&#58; 0.0036 Sekunden

Dieses Ergebnis habe ich ebenfalls, wenn nur ein einziger Besucher auf der Seite ist und die DB leer ist.

Und du hast recht, mein Test war Sequentiell, sogar mit 3 Sekunden Pause zwischen den Anfrage. (Zugunsten deines Programmes.)

Jetzt hab ich aber die Datenbank gefüllt (100k IPs, ~16,8m möglich). Dieser Test ist jetzt ohne Pausen und auch nicht sequentiell.
(Alle Werte in Millisekunden (ms))

50 Anfragen, 1 User

Code: Alles auswählen

min&#58; 761
avg&#58; 767
max&#58; 833

50 Anfragen, 5 User

Code: Alles auswählen

min&#58; 765
avg&#58; 2986
max&#58; 9654

50 Anfragen, 10 User

Code: Alles auswählen

min&#58; 770
avg&#58; 7422
max&#58; 16365

Wenn die Datenbank gefüllt ist muss ein User bis zu 0,8 Sekunden warten. Wenn 5 User gleichzeitig Anfragen schicken, müssen sie schon bis zu 9,6 Sekunden warten. Und wenn 10 User gleichzeitig Anfragen schicken, gehen die Wartezeiten bis zu 16,3 Sekunden.

Diese Wartezeit ist nur für dein Skript, das CMS und alles andere wird erst danach geladen.

Die Tests wurden mit dem Apache Benchmark Tool gemacht.

Schöne Grüße
Thomas

DieterW

Hallo Thomas,

Du scheinst den Test auf einer Windows Maschine und mit dem Apache von xampp ausgeführt zu haben - daher diese überaus hohen Werte.

Auf einem echten Server (Linux) sieht der Apache Benchmarktest so aus:

Randbedingungen:
Testapplikation: vBulletin (Forensoftware mit eingebundenem AccessControl)
Requests per User: 1000
Gleichzeitge User: 100
AccessControl Daten: 147 Mio. (abgerundet)
Von AccessControl abgefragte externe RBL URLs: 16

Code: Alles auswählen

$ ab -k -n 1000 -c 100 http&#58;//www.everyscript.de/vbbForum/index.php

Benchmarking www.everyscript.de &#40;be patient&#41;
Completed 100 requests
Completed 200 requests
Completed 300 requests
Completed 400 requests
Completed 500 requests
Completed 600 requests
Completed 700 requests
Completed 800 requests
Completed 900 requests
Finished 1000 requests

Concurrency Level&#58;      100
Complete requests&#58;      1000
Total transferred&#58;      969261 bytes
HTML transferred&#58;       506365 bytes
Requests per second&#58;    23.03 &#91;#/sec&#93; &#40;mean&#41;
Time per request&#58;       43.427 &#91;ms&#93; &#40;mean, across all concurrent requests&#41;
Transfer rate&#58;          21.78 &#91;Kbytes/sec&#93; received

Das bedeutet:
bei 1000 Request von 100 gleichzeitigen Usern beträgt die durchschnittliche Auslieferungszeit 43,427 Millisekunden pro Request - und zwar inklusive der vBulletin Ausführungszeit.

Du experimentierst mit Benchmark-Methoden die Dir offensichtlich nicht geläufig sind.
Das ist völlig in Ordnung - allerdings solltest Du dann diese experimentell erworbenen Ergebnisse nicht unbedingt öffentlich machen.