Wie kann ich verhindern, daß Google 403-Status sieht?

[Lissy]

Ich lese automatisiert Produkt-Kataloge ein.
Wenn ein Produkt beim Händler nicht mehr gelistet wird, dann wird der entsprechende in meinem CMS Drupal auf "nicht veröffentlicht" gesetzt.
Ein User, der kein Admin ist, sieht dann die 403-Fehlerseite.
Das läßt sich auch nicht so ohne weiteres ändern und wäre auch kein Problem, weil auf der Seite ein sachlich korrekter Hinweis erscheint, warum das so ist.

Das Problem ist, daß Google sehr viele 403-Fehler anmosert.
Dabei habe ich in der .htaccess folgende Weiterleitungen auf normale Seiten:
ErrorDocument 404 /node/24696
ErrorDocument 403 /node/24704

Ich war davon ausgegangen, daß der Status 403 dann gar nicht erst zu Google kommt.

Wie ist der Hintergrund genau?
Wird Google das mit schlechtem Ranking bestrafen?
Wie kann ich das verhindern?

[elmex]

Das Problem ist, daß Google sehr viele 403-Fehler anmosert.

Was bedeutet "anmosern" hier konkret?

Wie kommt Google auf die URLs, die ein 403 ausgeben, sind die verlinkt oder in einer Sitemap?

[Lissy]

Naja, Anmosern ist vielleicht der falsche Eindruck.
Sie werden angezeigt im Reiter URL-Fehler - Zugriff verweigert.

Wie Google auf die Seiten kommt ist ne gute Frage.
Verlinkt sind sie auf der Webseite für Gäste nicht mehr - in dem Moment, wo die Inhalte auf nicht veröffentlicht gesetzt werden.

Die Sitemap wird mit dem Tool xmlgenerator erzeugt (1x täglich automatisch in der Nacht).
Da sind dann auch nur die Links drinnen, die öffentlich erreichbar sind.
Die Sitemap wird automatisch an Google übermittelt.

Der Produktkatalog wird ebenfalls automatisiert 1x pro Nacht automatisiert.

Da kann es natürlich zu Überschneidungen kommen, bzw. kann es nicht auch sein, daß Google manche Links aus dem Index bezieht und crawlt?

Es ist vermutlich kaum möglich, zu verhindern, daß Google solche Seiten aufruft.
Das Ziel ist, Google davon zu überzeugen, daß das schon seine Richtigkeit hat und daß der User korrekt informiert wird.
Und ich dachte, das mache ich mit der Umleitung auf eine "schöne" Fehlerseite.

[Melegrian]

Dabei habe ich in der .htaccess folgende Weiterleitungen auf normale Seiten:
ErrorDocument 404 /node/24696
ErrorDocument 403 /node/24704

Und ich dachte, das mache ich mit der Umleitung auf eine "schöne" Fehlerseite.

Ich sehe keine 301 Weiterleitung, wo hast Du diese versteckt?
Vergessen einzubauen in node/24...?
Dann baue eine ein und es sollte klappen.

Wurde einst mit 404 getestet. Wenn Du in der fehlerseite.php

Code: Alles auswählen

ErrorDocument 404 /fehlerseite.php

eine Weiterleitung einfügst, wird auch der Statuscode 301 und nicht der 404 gesendet.

Code: Alles auswählen

header("HTTP/1.1 301 Moved Permanently");
header("Location: http://www.example.com/andere.html");

Wie sich das mit 403 verhält, weiß ich nicht, weil da verweigerst Du ja nur den Zugriff mit. Auch weiß ich nicht, ob eine Weiterleitung überhaupt sinnvoll ist, wenn zu häufig der Fall.

[elmex]

Ich denke, 403 ist hier einfach die falsche Antwort. Denke mal über ein 410 (Gone) für endgültig nicht mehr vorhandene Produkte oder einen 404 für temporär vergriffene Produkte nach. Ein Produkt, was plötzlich "verboten" scheint, ist nicht nur für google unlogisch

[Vegas]

Wurde einst mit 404 getestet. Wenn Du in der fehlerseite.php

Code: Alles auswählen

ErrorDocument 404 /fehlerseite.php

eine Weiterleitung einfügst, wird auch der Statuscode 301 und nicht der 404 gesendet.

Code: Alles auswählen

header("HTTP/1.1 301 Moved Permanently");
header("Location: http://www.example.com/andere.html");

Wie sich das mit 403 verhält, weiß ich nicht, weil da verweigerst Du ja nur den Zugriff mit. Auch weiß ich nicht, ob eine Weiterleitung überhaupt sinnvoll ist, wenn zu häufig der Fall.

Ja, über den Sinn der Weiterleitung kann man sich streiten, mit dem obigen Konstrukt wird immer nur der 301 ausgeliefert, egal ob 404 oder 403.

[Lissy]

Hi Melegrian,

Ich sehe keine 301 Weiterleitung, wo hast Du diese versteckt?
Vergessen einzubauen in node/24...?

Hmm...jetzt bin ich verwirrt.
Ich habe in der .htaccess mittels ErrorDocument gesagt, daß im Falle des Fehlercodes 403 auf die Seite node/24... weiter geleitet werden soll.
Zumindest dachte ich bislang, ich hätte das damit gesagt.

Die Seite node/24.. steht ja korrekt zur Verfügung.
Warum sollte ich auf der noch eine Weiterleitung einbauen?

[Lissy]

Ich denke, 403 ist hier einfach die falsche Antwort. Denke mal über ein 410 (Gone) für endgültig nicht mehr vorhandene Produkte oder einen 404 für temporär vergriffene Produkte nach. Ein Produkt, was plötzlich "verboten" scheint, ist nicht nur für google unlogisch

Da hast Du natürlich recht, Elmex.
Aber das ist nun mal die Logik des Content Management Systems Drupal.
Es wäre sehr mühsam das so umzubauen, daß im Falle des nicht mehr vorhandenen Produkts ein anderer Fehlercode erzeugt wird, als bei echten Zugriffsproblemen.
Und würde auch an ein paar anderen Stellen Probleme machen.
Habe ich schon getestet.

Seltsam, ich war immer der Meinung, dieses ErrorDocument in .htaccess sei genau dafür da, daß der 403 nicht bei Google bzw. beim User angezeigt wird.
Habe ich mich da getäuscht?

[Melegrian]

Warum sollte ich auf der noch eine Weiterleitung einbauen?

403 - Forbidden - Die Anfrage wurde mangels Berechtigung des Clients nicht durchgeführt.

Du möchtest doch wohl Google nicht wirklich mitteilen, dass G nicht berechtigt ist Deine Seiten zu sehen?

Einen 403 benutze ich nur für Spammer und so. Ein 404 in begrenzten Umfang. Wenn es mehr wird, sollte überlegt werden, ob 410 oder eine 301 Weiterleitung eine vernünftige Alternative ist.

Seltsam, ich war immer der Meinung, dieses ErrorDocument in .htaccess sei genau dafür da, daß der 403 nicht bei Google bzw. beim User angezeigt wird.
Habe ich mich da getäuscht?

Ob Du Dich getäuscht hast siehst Du eigentlich, wenn Du Dir die gesendeten Response-Header ansiehst.

[Lissy]

Du möchtest doch wohl Google nicht wirklich mitteilen, dass G nicht berechtigt ist Deine Seiten zu sehen?

Wenn von 10000 Seiten ein paar 403 sind, wird auch Google damit leben müssen.
Die Admin-Seiten z.B. haben nun mal Zugriff verboten.

Was den Fall für die nicht mehr verfügbaren Produkte angeht, wäre ein anderer Code sicher wünschenswert.
Die Problematik damit habe ich ja einen Post weiter oben beschrieben.

Den Response Header habe ich mir angeschaut, der steht auf 200.
Genauso wie der Eintrag im access-log, den ich provoziert habe.

Das sieht ja ganz so aus, als sei alles im Grünen Bereich.
Aber wieso bringt Google dann in den Webmaster-Tools die Meldung, daß die Seite einen 403 auslöst?
Und zwar mit aktuellem Datum vor zwei Tagen...

[Melegrian]

Sage es einmal so, wenn bei mir 404, dann wird auch 404 gesendet. Habe es aber bei anderen Seiten erlebt, dass immer ein 200er gesendet wurde, da irgendwo halt ein 200er gesetzt wurde.

Wo G nun den 403 erhält, dazu müsstest Du die betreffenden Seiten gegebenenfalls wie G oder zumindest wie ein Bots aufrufen. In den Logfiles sollten sich die Aufrufe ebenfalls finden lassen.