Seite 1 von 1

leere robots.txt und trotzdem gesperrt?

Verfasst: 28.01.2014, 21:19
von DbDdhkP07
Tja, ich weiss nicht wirklich weiter und frag einfach mal locker in die Runde.

Seit September ist bei einer Seite (ja, einziges echt statisches HTML-Dokument) einer Präsenz von mir plötzlich der gesamte G-Traffic weggebrochen.

Also: WMT... Aha, manuelles Penalty wegen ausgehenden Links. No Problem, alle spammy wirkenden Links raus oder nofollow und den Gang nach Canossa angetreten.

Relativ schnell wurde Vergebung erteilt. Die Rankings wieder soweit okay, der grüne Balken wieder grün. Schampus... Schampus?
Nein, denn irgendwie gibt es eine Seite, die sich dem Google-Index verweigert. Oder umgekehrt!?

Die Seite ist im Index nicht zu finden, nur bei einer gezielten Site-Abfrage kommt:
Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar.
Komisch: Bei einer Abfrage in den WMT werden keine Probleme gemeldet. Die robots.txt habe ich vor Monaten schon erst entschärft und schliesslich ganz entfernt. Immer mal wieder neu an den Index gesendet... Nix... Nada...
Wie gesagt, es gibt keine robots.txt mehr und die Seite wird auch artigst gecrawlt - meta: index,follow, das isses auch nicht und die canonical-url ist auch exakt gesetzt.

Und nu? Any Ideas?

Verfasst:
von

Verfasst: 29.01.2014, 08:25
von Keks
ich vermute mal, dass du Deine Seite hier nicht öffentlich nennen willst, von daher kannst du mir gerne eine PM schicken und ich schaue mal drüber.

Alles andere wäre Fehlereingrenzung per "Glaskugel" und hilft nicht weiter.

mfg
Keks

Verfasst: 29.01.2014, 11:50
von DbDdhkP07
Hallo Keks,

ja - da hast Du Recht. Diese Seite ist etwas sensibel, sonst habe ich da nicht solche Vorbehalte ;)

Mich würde halt interessieren ob es vielleicht eine Art "robots.txt injection" Black-Hat Methode gibt um unliebsame (also mich :( ) Mitbewerber aus den Serps zu knallen...

Ich spinn mir z.B. sowas zusammen: Irgendwas in der Art wie eine robots - meta in einer anderen Webseite mit einer Canonical Url der zu sperrenden Zielseite an den Googlebot übermitteln oder so ... In den letzten Wochen sieht es so aus, also ob da was schräg läuft, seltsame Backlinks tauchen auf, ne wichtige Seite kriegt ne nicht vorhandene robots.txt sperre, ... Aber vielleicht bin ich auch nur ganz normal paranoid ;)

Verfasst: 03.02.2014, 11:14
von luzie
Nix da "injection" (Die Illuminaten?) (Die Chance ist mikromal, dass sowas aus einer wie auch immer gearteten "Attacke" stammt) ... aber ohne das konkret zu sehen, kann man nichts sagen.

Verfasst: 15.02.2014, 10:04
von DbDdhkP07
Hab das Problem "irgendwie" lösen können.
Bin mit der Page durch den W3C-Checker, der hat x-Fehler gefunden, auch ganz abstruse Fehler in Nested-Tables etc. - ist halt gut 10 Jahre alt die Seite ;)

Dann hab ich den Content halt komplett neu aufgebaut, solange bis W3C nix mehr zu meckern hatte - In den WMT die Seite zum x-ten Male an den Index gesendet und: Viola! In alter Stärke zurück.

Es irritiert einfach, das Google die Seite im Index als von "Robots.txt" gesperrt führte...

Nunja, Egal - Alles wieder gut an der Front ;)

Verfasst:
von