|
|
kam1
: 17.07.2005
: 63
|
| : 10.12.2008, 02:25 : Google ignoriert mein robots.txt |
|
|
Hallo,
habe gerade ein Problem festgestellt. Ich habe in root Verzeichnis brav eine robots.txt hochgeladen, wo ich alle Ordner zu verschiedenen Sprachen sperre, die noch nicht uebersetzt wurden (bzw. noch in Arbeit sind), weil wenn die Bereiche nicht uebersetzt sind, einfach das englische Content mit Warnhinweis oben drueber angezeigt wird und das ist Doppelcontent.
| Code: |
User-agent: *
Disallow: /cn/
Disallow: /es/
Disallow: /hu/
Disallow: /cn
Disallow: /es
Disallow: /hu |
So aehnlich sieht meine robots.txt aus
Was macht Google, ignoriert es geschickt. Ich kann jegliche gesperrte Seiten schon im Google Index sehen.
Wieso ignoriert er meine robots.txt??
Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt. |
|
| Nach oben |
|
 |
wehwehweh
: 08.02.2008
: 1751
|
| : 10.12.2008, 08:03 : Google ignoriert mein robots.txt |
|
|
| : |
| Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt. |
das ist normalerweise der fall wenn du die irgendwo verlinkt hast. |
|
| Nach oben |
|
|
no.f8
: 02.04.2008
: 36
|
| : 10.12.2008, 10:14 : Google ignoriert mein robots.txt |
|
|
Werden die Seiten bei regulären Searches oder Site-Abfragen angezeigt? Bei Site-Abfragen ist es idR normal, dass die gesperrten Seiten mit auftauchen, wenn sie kein dezidiertes noindex haben.
Ansonsten den Google-Bot mal separat als Agent angeben. |
|
| Nach oben |
|
|
kam1
: 17.07.2005
: 63
|
| : 11.12.2008, 04:53 : Google ignoriert mein robots.txt |
|
|
Vielen Dank fuer eure Antworten
Die Seiten scheinen wieder weg zu sein, ich habe heute nachgeschaut. Ich find das sehr komisch.
| : |
Zitat:
Im Index werden die gesperrten Seiten uebrigens nur mit URL angezeigt.
das ist normalerweise der fall wenn du die irgendwo verlinkt hast. |
Damit habe ich gemeint, dass nur die URL angezeigt wird, keine Beschreibung oder Titel.
| no.f8 hat Folgendes geschrieben: |
Werden die Seiten bei regulären Searches oder Site-Abfragen angezeigt? Bei Site-Abfragen ist es idR normal, dass die gesperrten Seiten mit auftauchen, wenn sie kein dezidiertes noindex haben.
Ansonsten den Google-Bot mal separat als Agent angeben. |
Bei Site Abfragen, bei regulaeren habe ich leider nicht getestet. |
|
| Nach oben |
|
|
qualityranks
: 28.11.2008
: 94
: München
|
| : 11.12.2008, 15:54 : Google ignoriert mein robots.txt |
|
|
Jemand hat auf deine Seiten verlinkt. Dann indexiert Google die Seite trotzdem, da sie sie als wichtig erachtet.
webhelps! Online Marketing GmbH - www.webhelps.de/blog |
|
| Nach oben |
|
|
Netzfehler
: 02.10.2006
: 34
|
| : 12.12.2008, 04:35 : Google ignoriert mein robots.txt |
|
|
Gerade gestern Abend hatte ich das gleiche Problem. Bei mir ist es eine
komplett neue Seite (verlinkung auf die jeweiligen Seiten ausgeschlossen).
Erst dachte ich, ich habe vergessen die robots.txt hochzuladen, aber die wahr
absolut korrekt. Auch habe ich wie no.f8 bereits erwähnt hat den Google-Bot
noch seperat angegeben. Vielleicht sind sie ja in paar Tagen wieder draußen |
|
| Nach oben |
|
|
