Mir ist heute bei einem Blick in die Crawling-Statistiken der WMT aufgefallen, dass bei fast allen meiner Projekte - nicht bei den zwei größten! - am 14. August praktisch alle Sites komplett bzw. manchmal sogar mehrfach gecrawlt wurden. Solche Spikes in den Statistiken habe ich noch nie gehabt! Normalerweise werden bei mir täglich höchstens 10-20 Prozent der Seiten einer Site heruntergeladen.
Kann das jemand bestätigen?
Was könnte das bedeuten?
