URLs löschen, robots.txt

Billy04 · : 11.05.2005 : 249

Hallo zusammen

Mein Programmierer musste gewisse URL Paramter ändern. Nun habe ich über google webmastertools festegestellt, dass ich sehr viele Crawling Fehler habe. Die meisten sind 500er Fehler. Problem ist, dass mein Programmierer sagt, dass er momentan keine 301er Umleitung platzieren kann, da ca. 100'000 Links betroffen sind. Er meint, dass google dies von selber richten wird. Nun habe ich gelesen, dass ich mittels einer google.txt datei, diese Seiten auch löschen kann.

Habe das nun so gelöst:

User-agent: *
Disallow: /forum/apfel-f40/
Disallow: /forum/birne-f62/
Disallow: /forum/kirsche-f94/
...

ist das so korrekt. Oder gibts ne andere Möglichkeit, die 100000 Links rasch möglichst aus dem Index zu entfernen?

Vielen Dank

Justus · : 04.03.2009 : 261

Nur die Tatsache, dass es 100k Links sind, macht 301er lange unmöglich. Meistens, wenn die URLs einem nachvollziehbaren Muster folgen, lässt sich das in wenigen Zeilen lösen oder man kann schnell eine kleine Routine programmieren, die einem die Umleitungen maschinell erstellt, wenn es denn sein muss.

301 von den alten auf die geänderten URLs ist der optimale und sinnvolle Weg. Sperrung per Robots oder der Fehler 500 ist mehr wie die Wahl zwischen Pest und Cholera.
Langfristig hat er nicht Unrecht, Google wird es schon irgendwann von selbst verstehen. Doch wenn die alten URLs verlinkt waren, sehen alle Besucher, die über einen alten Link kommen, stets nur einen 500er - Usability sieht anders aus.

Twitter | Blog