ODP mit neuer robots.txt

Allgemein 14. Oktober 2003 von

Seit heute dürfen, laut dmoz.robots.txt, nur mehr einige wenige Suchmaschinen das ODP mit Ihren Crawlern besuchen. (Google,Alexa-Wayback,Inktomi,Alltheweb und Teoma).

Dieser Schritt wurde vermutlich gesetzt um Bandbreite zu sparen und die Zugriffszeit für die ODP Seiten zu erhöhen.

Es besteht jedoch laut robots.txt die Möglichkeit für andere Suchmaschinen das ODP zu kontaktieren und unter Umtständen auf die Liste gesetzt zu werden.

Eine Antwort hinterlassen

Verwandte Beiträge

Mobile Content
Mobile Content – Mobiles Content Marketing

Inzwischen gibt es unzählige Statistiken im Netz, welche errechnen, wann genau der Mobile Traffic den Desktop Traffic überholte. Die meisten Auswertungen liegen hier zwischen 2014 und 2016 und auch eigene Beobachtungen als Webseitenbetreiber machen klar: Die Optimierung für mobile Endgeräte spielt längst eine zentrale Rolle in der Suchmaschinenoptimierung. Mit der Implementierung des neuen Mobile First mehr…

Suchmarkt Türkei
Internationales SEO. Teil 6: Suchmarkt Türkei

Im sechsten (und für das Jahr 2017 letzten) Teil meiner Reihe „Internationales SEO“ beschäftige ich mich mit den Gegebenheiten im Suchmarkt Türkei. Deutschland hat neben der Türkei die zweitgrößte türkisch sprachige Community. Dieser Aspekt und die damit enge Verflechtung durch persönliche Beziehungen machen den türkischen Markt für Unternehmen aus Deutschland interessant. Zahlen, Daten, Fakten Laut mehr…

Rankingverlust nach Relaunch – Handlungsempfehlung

Nachdem wir bereits drei ABAKUS Handlungsempfehlungen vorstellten, möchten wir nun die Reihe fortsetzen. In der heutigen Vorstellung geht es um einen unserer aktuellen Kunden. Er führte einen Relaunch seines Internetshops durch, verbunden mit dem Wechsel des Shopsystems. Die Folge waren enorme Verluste der Rankings und Sichtbarkeit, weshalb er sich an ABAKUS wandte. Zur genauen Situation: mehr…

Googles Mobile First Index
Googles Mobile First Index ist live

Mobilem Traffic gehört die Zukunft. Im Jahr 2015 hat der Anteil der Suchanfragen von Mobilgeräten den von Desktops überholt. Dies geht an Google nicht spurlos vorbei. Das Unternehmen arbeitet an einem mobilen Index, der zukünftig primär eingesetzt wird, um Suchanfragen zu bedienen. Bis jetzt nutzt Google einen Index für durchsuchbare Dokumente, der auf der Auswertung mehr…