Warum registrieren? Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.

kann man robots.txt weglassen?

manute
PostRank 10
PostRank 10
Beiträge: 3010
Registriert: 22.07.2003, 11:02
Wohnort: Hamburg

Beitrag von manute » 12.10.2003, 15:42

tach!

ich dachte bisher immer, dass man die robots.txt weglassen kann, wenn man sie nicht braucht, denn die suma spidert dann einfach alles ohne einschränkungen.
jetzt hab ich aber gerade was gelesen, dass manche suma eine seite ohne robots.txt die seite evtl. schlechter bewerten. ist da was dran?
Die Antwort findest du hier: zum Archiv