Moinsen,
der verdammte spider von www.cuil.com hat die letzten 2 Tage meine shops besucht und zig GB-Traffic verursacht *narf
Ich hab den jetzt gesperrt. Aus die Maus.
Der google-bot ist irgendwie schlauer.
Der spidert wenigstens meine Produktattribute nicht durch.
Gib Dir das mal: Der spidert alle Produktattribute durch... Wenn 1 Artikel in 3 Farbkombinationen erhältlich ist, ich 40 Farben habe und 6 Größen dazu... dann sind das 40³x6 Seiten je Artikel. Im Schnitt habe ich ca. 250 Artikel in jedem Shop.
Das macht: 40³x6x250 Seiten = 96Mio.
Und dann geht das Mistding noch in die Suche und macht da weiter...