google bots für Filter sperren, aber wie?
Verfasst: 14.02.2017, 10:14
Hallo zusammen,
wir haben aktuell seit ein paar Wochen immer wieder das Problem, dass extrem viele google bots unsere Onlineshops crawlen und damit streckenweise die Performance unserer Shops (Server) stark beeinflussen. Dabei handelt es sich größtenteils um Shop-Filter-Variationen, die gecrawlt werden.
Deshalb haben wir folgendermaßen versucht hier in den WMT entgegen zu wirken:
1) robots.txt mit entsprechendem Parameter angelegt
2) Crawling > URL-Parameter der Filter URLs eingegrenz auf "Keine URLs"
3) Seit gestern die Crawling Frequenz definiert, da Punkte 1) und 2) nach zwei Tagen nicht greifen
Fragen:
1. Ist das die richtige Herangehensweise?
2. Wie lange dauert es bis google auf die WMT "hört"?
3. Wie wäre eure Herangehensweise, um den google bots klar zu machen, dass die Filter nicht gecrawlt werden sollen?
Würde mich freuen den ein oder anderen Ratschlag / die ein oder andere Erfahrung von euch zu bekommen.
Viele Grüße
Christian
wir haben aktuell seit ein paar Wochen immer wieder das Problem, dass extrem viele google bots unsere Onlineshops crawlen und damit streckenweise die Performance unserer Shops (Server) stark beeinflussen. Dabei handelt es sich größtenteils um Shop-Filter-Variationen, die gecrawlt werden.
Deshalb haben wir folgendermaßen versucht hier in den WMT entgegen zu wirken:
1) robots.txt mit entsprechendem Parameter angelegt
2) Crawling > URL-Parameter der Filter URLs eingegrenz auf "Keine URLs"
3) Seit gestern die Crawling Frequenz definiert, da Punkte 1) und 2) nach zwei Tagen nicht greifen
Fragen:
1. Ist das die richtige Herangehensweise?
2. Wie lange dauert es bis google auf die WMT "hört"?
3. Wie wäre eure Herangehensweise, um den google bots klar zu machen, dass die Filter nicht gecrawlt werden sollen?
Würde mich freuen den ein oder anderen Ratschlag / die ein oder andere Erfahrung von euch zu bekommen.
Viele Grüße
Christian