|
|
superolli
: 22.07.2007
: 413
: Hadamar
|
| : 05.06.2012, 08:42 : Kurze Frage zur robots.txt |
|
|
Guten Morgen, kurze Frage... wenn ich in der robots.txt schreibe
User-agent: *
Disallow: /.media/
.. dann wird
a) das Verzeichnis . media nicht gecrawlt aber
b) alle anderen Verzeichnisse werden gecrawlt (auch wenn allow nicht mehr da steht) ?
Richtig? |
|
| Nach oben |
|
 |
Malte Landwehr
: 22.05.2005
: 3033
: Münster
|
| : 05.06.2012, 08:45 : Kurze Frage zur robots.txt |
|
|
Richtig. Zumindest Google wird es so machen. Außer sie entscheiden sich, diese Anweisung zu ignorieren. Wird in deinem Fall aber wohl nicht passieren 
Zuletzt bearbeitet von Malte Landwehr am 05.06.2012, 08:46, insgesamt einmal bearbeitet |
|
| Nach oben |
|
|
superolli
: 22.07.2007
: 413
: Hadamar
|
| : 05.06.2012, 08:46 : Kurze Frage zur robots.txt |
|
|
Danke Malte! Hab ich verstanden.  |
|
| Nach oben |
|
|
superolli
: 22.07.2007
: 413
: Hadamar
|
| : 05.06.2012, 09:02 : Kurze Frage zur robots.txt |
|
|
| Gibt es irgendwo im Netzt eine Liste der nervigsten und überflüssigsten Crawler? |
|
| Nach oben |
|
|
800XE
: 02.12.2004
: 5229
: XENEVU
|
| : 05.06.2012, 09:14 : Kurze Frage zur robots.txt |
|
|
| superolli hat Folgendes geschrieben: |
| Gibt es irgendwo im Netzt eine Liste der nervigsten und überflüssigsten Crawler? |
abakus-internet-marketing.de/robots.txt
aber nur ... /Affilitiv/ ... innovativ |
|
| Nach oben |
|
|
superolli
: 22.07.2007
: 413
: Hadamar
|
| : 05.06.2012, 10:00 : Kurze Frage zur robots.txt |
|
|
| Oh. Sehr schlau, danke |
|
| Nach oben |
|
|
Vegas
: 27.10.2007
: 3066
|
| : 05.06.2012, 12:47 : Kurze Frage zur robots.txt |
|
|
| superolli hat Folgendes geschrieben: |
| Oh. Sehr schlau, danke |
Wenn Du ganz sicher gehen willst, wäre auch die Lösung über die .htaccess ein guter Ansatz. Leider haben nämlich die ganzen unerwünschten Bots die Neigung sich nicht unbedingt an die Vorgaben der Robots.txt zu halten, denn die Robots.txt ist im Gegensatz zur .htaccess keine Sperre sondern nur eine Handlungsempfehlung an die Bots.
Suchmaschinenoptimierung & Reputation Management |
|
| Nach oben |
|
|
