|
|
Macindy
: 01.12.2003
: 6
|
| : 29.12.2004, 13:54 : Meine robots.txt - korrekt? |
|
|
Hallo zusammen!
Könnten sich die Profis unter euch mal meine robots.txt ansehen ob da ein Syntaxfehler drin ist.
Lediglich Google soll erlaubt werden meine Site zu spidern. Dabei soll Google noch die Ausnahmen beachten.
Danke
| Code: |
User-agent: Googlebot
Disallow: /attachment.php
Disallow: /admincp/
User-agent: *
Disallow: /
|
|
|
| Nach oben |
|
 |
Moddy
: 08.09.2004
: 796
|
| : 29.12.2004, 16:43 : Meine robots.txt - korrekt? |
|
|
Mit
| Code: |
User-agent: *
Disallow: / |
Sperrst du meiner Meinung nach auch Google aus denn * bedeutet jede Suchmaschine oder jeder Bot |
|
| Nach oben |
|
|
Sephyra
: 23.05.2004
: 65
|
|
| Nach oben |
|
|
Sololand
: 28.11.2004
: 347
|
| : 29.12.2004, 21:27 : Meine robots.txt - korrekt? |
|
|
| : |
User-agent: Googlebot
Disallow: /attachment.php
Disallow: /admincp/
User-agent: *
Disallow: /
|
Warum nur google und wenn wirds doch eh ignoriert....
User-agent: *
Disallow: /
obwohl ich festgestellt habe, dass google nur den index spidert, wenn ich die Mediapartners google weg lasse
Kostenlose Email
Linkpartner für o.g. Domain gesucht  |
|
| Nach oben |
|
|
Macindy
: 01.12.2003
: 6
|
| : 30.12.2004, 13:01 : Meine robots.txt - korrekt? |
|
|
So wie es in den Logfiles aussieht funktioniert das auch so wie ich möchte. Google hält sich auch nicht an die robots.txt Empfehlung den ersten passenden Eintrag zu nehmen - sondern den besten passenden Eintrag. Man könnte also auch die Googlebot-Anweisung ganz nach unten schieben.
Ist es korrekt, dass ich nichts explizit erlauben muss, sondern nur die disallows angeben muss. Wäre ein Allow: / (in der Google FAQ zu finden) oder ein Disallow: sinnvoll? |
|
| Nach oben |
|
|
Pompom
: 10.09.2004
: 3408
|
| : 30.12.2004, 13:28 : Meine robots.txt - korrekt? |
|
|
Es gibt eigentlich kein Allow, sondern nur ein Disallow.
Alles was nicht verboten ist, ist erlaubt.
Falls Du explizit nichts verbieten möchtest, würde ein Eintrag (der normalerweise nur den Standard widergibt) lauten:
User-agent: *
Disallow: |
|
| Nach oben |
|
|
