Was stimmt mit Slurp nicht

reikje · : 25.06.2004 : 70

Hab jeden Tag Zugriffe auf die robots.txt lande aber nicht im Index obwohl da alles erlaubt ist. Habt Ihr ähnliche Probleme?

goldie · : 06.05.2004 : 293 : Berchtesgaden

hallo reikje,

das ist zwar nicht konkret die antwort auf deine frage, aber das slurp zur zeit etwas bekifft durchs web rennt habe ich hier auch schonmal erwähnt --> http://www.abakus-internet-marketing.de/foren/viewtopic/t-6432.html

greetz
goldie

reikje · : 25.06.2004 : 70

Hab jetzt mal meine serverseitigen Redirect, response.sendRedirect(..), auf <jsp:forward> umgestellt. Vielleicht macht der Yahoo Bot das besser mit. Googlebot wars egal, naja mal sehen. Wenns was bringt poste ich nochmal.