Bekanntermaßen hab ich mit großartiger Unterstützung unseres herzallerliebsten Moderators @Hanzodingenskirchen einen Multithreading Crawler gebastelt, der seit dem ersten Tag an zahlreiche Erweiterungen und Verbesserungen erfahren hat.
Die Bezeichnung Crawler mag vielleicht irritieren. Der dient nicht dazu andere Webseiten zu crawlen, sondern den HTTP Cache vom LiteSpeed Webserver aufzuwärmen. Konket geht es dabei um Wordpress, wofür es von LiteSpeed ein dazu passendes Cache Plugin gibt. Dieses Plugin hat zwar einen eingebauten Crawler, der sich auch über die WP eigenen Cron Funktion bequem aussteuern lässt, allerdings leidet der unter dem max_execution timeout Problem, verursacht zu viel Last und außerdem lässt er sich serverseitig, also vom Provider deaktivieren. Viele Shared Hosting Nutzer schauen deswegen sehr oft in die Röhre. Haben einen blitzschneller Cache, aber Nutzen kann man ihn tatsächlich erst, wenn der vorgewärmt ist.
Mein Crawler macht grundsätzlich alles besser und x-fach schneller, sodass es kein Problem ist bis zu 100.000 URLs innerhalb 1 Std. zu crawlen und das ohne timeout Problem und auch auf Shared Hosting. Dieser Crawler hat zwar zahlreiche Einstellungen, aber bei gut der Hälfte der EInstellungen sind diese abhängig von den Plugin Einstellungen von LiteSpeed. Und damit da nix schief läuft kann man sich die Einstellungen zwar ansehen, aber eben nichts ändern. Ist halt für den Dummy gemacht worden, der max. den Warmup Button anklicken muss oder alternativ einen Cron einrichten muss.
So, nachdem es unter Euch dann doch den einen oder anderen WP Nutzer gibt, bräucht ich mal ein Feedback. Also mal bitte anschauen, danke.
https://www.wordpress.litecache.de/litecache/
User: Demo
Pass: Demo
