Beitragnortstern » 23.02.2016, 12:37 Googlebot fühlt sich durch robots.txt ausgesperrt - Warum?
Seit Freitag wird mir in der Search Console gesagt: "Es wurden schwerwiegende Probleme bezüglich des Status Ihrer Property gefunden."
Laut robots.txt-Tester kann der Googlebot nicht auf die Startseite zugreifen, da ich die Zeilen
Disallow: *.sql
Disallow: *.sql.gz
drin hatte.
Verstehe ich das Ganze nicht oder gibt es einen Fehler seitens Google?
Wenn ich es richtig verstanden habe, dann müsste die Startseite ja dann startseite.de.sql (oder so ähnlich) heißen?
Beide Zeilen sind nun gelöscht und zack sagt der Tester, dass wieder alles funktioniert (ich tippe die Fehlermeldung verschwindet mit Zeitverzug).
Kann da einer von euch Licht ins Dunkel bringen und mir meinen (möglichen) Denkfehler aufzeigen?
Beitrage-fee » 24.02.2016, 21:05 Googlebot fühlt sich durch robots.txt ausgesperrt - Warum?
Ich frage mich aber gerade, weswegen das überhaupt über die robots.txt "gesperrt" ist.
Denn ich gehe mal davon aus, dass diese Dateien eher nicht so für die Öffentlichkeit bestimmt sind, oder?
In dem Fall wird nur eine Scheinsicherheit geschaffen, die Dateien sind ja dann trotzdem theoretisch für jedermann abrufbar, zumindest wenn er den Link kennt.
Ich könnte mir vorstellen, dass eine Lösung über Dateirechte oder .htaccess möglicherweise besser geeignet sein könnte. Dann kannst Du Dir den Kram mit der robots.txt auch sparen.