|
|
andreas888
: 20.10.2004
: 115
: Waldenburg
|
| : 20.10.2004, 02:12 : hält sich google eigentlich an die robots.txt ? |
|
|
ich hab in meiner robots.txt seit 3 Wochen drin:
| Code: |
User-agent: *
Disallow: forum/memberlist.php
... |
aber trotzdem hat google nun im cache ein abbild der memberlist von vor ein paar tagen.
hält sich google gar nicht an die robots.txt ? |
|
| Nach oben |
|
 |
LinkPop
: 02.05.2004
: 1554
|
| : 20.10.2004, 02:25 : hält sich google eigentlich an die robots.txt ? |
|
|
Probiers mal mit :
| Code: |
| Disallow: /forum/memberlist.php |
|
|
| Nach oben |
|
|
Michael
: 04.01.2004
: 736
: Herne
|
| : 20.10.2004, 08:35 : hält sich google eigentlich an die robots.txt ? |
|
|
Normalerweise ist Google da sehr präzise.
Im Gegensatz zu anderen "populären" Suchmaschinen kann Google sogar die Regeln beachten, wenn man mit einem HTTP 301 oder 302 eine Weiterleitung baut.
Z.B.
Link auf
1. http://bla/test1/
2. HTTP 301 Weiterleitung nach http://bla/test2/
Wenn also in der Robots.txt für Google /test1/ oder /test2/ verboten ist, folgt Google diesem Link nicht. Andere Suchmaschinen würden nur checken ob /test1/ in der robots.txt steht. Bei einer Weiterleitung wird nicht noch einmal geprüft. Eigentlich nicht richtig, und zeugt von einer unsauberen Programmierung die irgendwelche fertigen HTTP Module verwendet in denen vermutlich automatisch einer Weiterleitung folgt und nicht noch einmal die RobotRules checkt.
Lese mal die Sourcen von nutch 0.5. Hier ist das auch sehr gut umgesetzt.
Gruß
Michael
Bis zum 31.05. einen Link von einer PR5 Domain bekommen |
|
| Nach oben |
|
|
andreas888
: 20.10.2004
: 115
: Waldenburg
|
| : 20.10.2004, 12:34 : hält sich google eigentlich an die robots.txt ? |
|
|
danke - werd ich gleich mal korrigieren  |
|
| Nach oben |
|
|
bull
: 20.09.2003
: 2176
: Vèneto
|
| : 20.10.2004, 12:46 : hält sich google eigentlich an die robots.txt ? |
|
|
| Der robots.txt-"Standard" sagt ja, daß Pfadangaben nach Disallow mit "/" beginnen sollten. Jedenfalls ist das bei allen Beispielen, die angegeben werden, so. |
|
| Nach oben |
|
|
andreas888
: 20.10.2004
: 115
: Waldenburg
|
| : 21.10.2004, 01:25 : hält sich google eigentlich an die robots.txt ? |
|
|
ich hatte das ziemlich gedankenlos übernommen von diesem tread:
http://www.phpbb.com/phpBB/viewtopic.php?t=32328
probier grad an was rum, ein phpbb forum mit ziemlich einfachen änderungen, in google reinzubringen - vielleicht klappts nun ja doch noch.. |
|
| Nach oben |
|
|
Nadia
: 06.04.2004
: 12
|
| : 22.10.2004, 12:31 : hält sich google eigentlich an die robots.txt ? |
|
|
Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt?
________
http://www.pauschalreisebuchen.de |
|
| Nach oben |
|
|
Optimizer
: 15.08.2003
: 537
: Manila - Philippines
|
| : 22.10.2004, 14:35 : hält sich google eigentlich an die robots.txt ? |
|
|
To make sure that a page is not indexed each page should have a noindex tag !!
In general an SE looks first for the robots.txt file but it's better to have both.
regards,
OPtimizer |
|
| Nach oben |
|
|
KAW
: 05.08.2004
: 3974
|
| : 22.10.2004, 14:56 : hält sich google eigentlich an die robots.txt ? |
|
|
wie ist das mit anderen Suchmaschinen? Wenn eine andere SM die robots.txt nicht beachtet und eine Seite listet, wird die dann eventuell von google aus der anderen SM geholt und dann doch gelistet?
KAW
* Hier kannst du deinen Shop vorstellen zu Einrichtungsprodukten
* Werbeplätze im Gesundheitsbereich
* Suche Reiseberichte
|
|
| Nach oben |
|
|
LinkPop
: 02.05.2004
: 1554
|
| : 22.10.2004, 20:10 : hält sich google eigentlich an die robots.txt ? |
|
|
| Nadia hat Folgendes geschrieben: |
| Braucht ihr eigentlich noch die robots, wenn ihr nichts auszuschliessen habt? |
Man kann die robots.txt auch einsetzen, wenn man nix auszuschließen hat, z.b. um aggressive msnbots zu zügeln. |
|
| Nach oben |
|
|
