MSN mit neuem Robots.txt Befehl

Allgemein 12. Juni 2004 von

Laut msndude (Mitarbeiter von Microsoft) gibt es einen undokumentierten (da neuen) Befehl der das leidige Thema (MSN Bot crawlt zu schnell und so viel) beseitigt.

User-Agent: msnbot

Crawl-Delay: 20

Mit diesem Befehl kann man angeben (dieses Beispiel 20 Sekunden) nach wieviel Sekunden der MSN Bot die nächste Seite crawlen soll. Dies ist ein wirklich nützlicher Befehl der den aggressiven MSN Bot im Zaum halten wird.

Eine Antwort hinterlassen

Verwandte Beiträge

Interiew mit Barry Schwartz
Interview mit Barry Schwartz

Barry Schwartz ist ist einer der bekanntesten Google-Experten. Sein Wissen rund um Google & Co. kann in diversen Blogs (z. B. auf seroundtable.com, searchengineland.com) nachgelesen werden. Auch auf Konferenzen ist Barry ein begehrter Speaker. Hauptberuflich ist er übrigens für das Führen seines Unternehmens RustyBrick, eine Web.- und Mobile Software Development Firma in New York, verantwortlich. mehr…

Bedeutung von Ankertexten
Bedeutung von Ankertexten

Google verwendet Links als Ranking-Faktor. Links und die jeweiligen Ankertexte wirken sich auf das Ranking von Websites aus, mal mehr, mal weniger und manchmal aber auch gar nicht. Wie Google die Gewichtung wertet, hängt von vielen verschiedenen Faktoren ab. John Mueller, Google Webmaster Trends Analyst, hat in einem Tweet bestätigt, dass man auch ohne Linkaufbau mehr…

Mobile Content
Mobile Content – Mobiles Content Marketing

Inzwischen gibt es unzählige Statistiken im Netz, welche errechnen, wann genau der Mobile Traffic den Desktop Traffic überholte. Die meisten Auswertungen liegen hier zwischen 2014 und 2016 und auch eigene Beobachtungen als Webseitenbetreiber machen klar: Die Optimierung für mobile Endgeräte spielt längst eine zentrale Rolle in der Suchmaschinenoptimierung. Mit der Implementierung des neuen Mobile First mehr…

Suchmarkt Türkei
Internationales SEO. Teil 6: Suchmarkt Türkei

Im sechsten (und für das Jahr 2017 letzten) Teil meiner Reihe „Internationales SEO“ beschäftige ich mich mit den Gegebenheiten im Suchmarkt Türkei. Deutschland hat neben der Türkei die zweitgrößte türkisch sprachige Community. Dieser Aspekt und die damit enge Verflechtung durch persönliche Beziehungen machen den türkischen Markt für Unternehmen aus Deutschland interessant. Zahlen, Daten, Fakten Laut mehr…