Das System der Lenkung von Suchmaschinen durch die eigenen Internet-Seiten ist verwirrend. Ich habe noch keine kompakte Darstellung mit einleuchtenden Beispielen gefunden.
Hier mein robots.txt, zurecht gemacht für ein Forum ( smf - www.simplemachines.org ); es geht mir vor allem darum, keinen schweren Fehler im robots.txt zu haben. Ich habe es im Wesentlichen aus verschiedenen Quellen zusammenkopiert.