ABAKUS

Verfasst: **13.01.2014, 12:31**

Die folgende URL zeigt nicht https://www.tunemaster.de/forum.htm, sondern https://www.maxrev.de/forum.htm:
https://webcache.googleusercontent.com/ ... /forum.htm

Hier ist dagegen alles gut:
https://webcache.googleusercontent.com/ ... master.de/

Hier wieder nicht:
https://webcache.googleusercontent.com/ ... de/faq.htm Original: https://www.tunemaster.de/faq.htm

Also alle global verlinkten Seiten bis auf die Startseite wurden "überschrieben" und ich habe keine Ahnung warum.

Verfasst: **13.01.2014, 12:55**

Evtl. eine 301 von der Domain, die auf Deinem Server relativ mit den Url Anhängsel ergänzt wird. Ist dann ach DC.

Per htacces steuern, wer-wohin-warum

Verfasst: **13.01.2014, 13:10**

Also eine Sache habe ich gefunden. Ich habe eine Firewall im Einsatz, die geblockte IPs auf ein Captcha bei maxrev.de weiterleitet. Die Firewall bin ich nun durch und ich habe tatsächlich zwei IPs vom Googlebot gefunden.

Allerdings ist diese Weiterleitung nicht 301, sondern 307 (Temporary), wobei ich nicht weiß ob Google diesem extra Status überhaupt Beachtung schenkt.

Es ist allerdings ein Fehler von Google in dieser Firewall gelandet zu sein. Die robots.txt verbietet schon immer den Zugriff auf den genannten Deeplink, der zur Sperre der IP führte. Ich habe die beiden IPs jetzt mal gewhitelistet und die Weiterleitung entfernt. Außerdem wird nun das Captcha auf der aktuellen Seite mit HTTP Status 403 Forbidden ausgegeben.

Gesperrt waren übrigens:
62.109.28.169, 2013-05-28 20:24:52
62.113.218.31, 2013-10-03 13:54:43

Wenn es das nun war: Wie geht es jetzt weiter?

Wobei ich mir das auf Grund des Alters der Sperren nicht so wirklich vorstellen kann. Auch weil ja nur zwei von Google's IPs gesperrt wurden. Die restlichen Crawler werkelten ja weiter.

Verfasst: **15.01.2014, 13:49**

Wenn es behoben ist. Abwarten und Tee trinken. Dauert bis indexiertes wieder gelöscht wird.

Verfasst: **21.01.2014, 16:17**

Ja, ich weiß ja nicht mal ob das das Problem war?!

Das hier ist auch interessant:
https://www.google.com/search?q=tunemas ... Fforum.htm
Bild

Es ist sowohl maxrev als auch tunemaster gelistet. Man kommt sogar auf den Cache von tunemaster, aber eben nur mit einer anderen URL, wo noch ein google-eigener Parameter davor steht (https://webcache.googleusercontent.com/ ... JPlA-kubwJ:[/b]www.tunemaster.de/forum.htm+&cd=2&hl=de&ct=clnk). Der Cache von tunemaster ist jedenfalls aktuell:

Es handelt sich dabei um ein Abbild der Seite, wie diese am 16. Jan. 2014 07:01:50 GMT angezeigt wurde

Google kommt übrigens täglich vorbei auf der forum.htm, aber passieren tut leider nichts:
Bild

HTTP Status ist auch immer 200, also keine Weiterleitung aktiv.

Verfasst: **01.02.2014, 10:33**

Der Cache ist nach wie vor falsch. Bei den Backlinks im WMT von maxrev.de taucht jetzt aber tunemaster.de/forum.htm und tunemaster.de/faq.htm nicht mehr auf. Dafür aber noch /login.php, /communities.htm, /chat.htm, /memberlist.htm und /pics.htm.

Also alle die stark global im Footer oder Header verlinkt sind, leiten angeblich auf maxrev weiter.

Dass die faq.htm raus ist, ist interessant, da ich bei der testweise einen canonical-Tag eingebaut hatte (jetzt wieder ausgebaut). Das werde ich jetzt auch bei pic.htm und communities.htm machen. Einfach um zu verifizieren, dass das als Problemlöser funktioniert.

maxrev hat jetzt übrigens auch eine eigene IP erhalten, um sich noch mal stärker von dem anderen Projekt abzuheben.

Verfasst: **19.02.2014, 12:11**

Also mit dem canonical hatte es wohl nichts zu tun. Aktuell noch drin sind communities.htm, memberlist.htm und chat.htm. Damit ist die login.php zwar raus, aber die communities.htm, die ebenfalls einen canonical hat, ist noch drin. Wobei die login.php auch raus ist, weil ich sie nicht mehr global verlinke. Der Link wurde gegen ein Formular ersetzt.

Der Cache ist auch nach wie vor überall falsch. Also z.B. bei der forum.htm, die schon etwas länger bei den Backlinks fehlt, zeigt immer noch maxrev:
https://webcache.googleusercontent.com/ ... /forum.htm

Verfasst: **19.02.2014, 13:28**

Hallo,

mich erstaunt der 307.
302 ist der normale temporary redirect, 307 ist gedacht für Fehlreaktionen einiger Browser auf 302.
Also ich würde nie nen 307 raushauen, wenn ich doch 302 meine.

Gruß
Kristian

Verfasst: **19.02.2014, 22:52**

Genau diese Fehlreaktion war Grund für den 307. Ich hatte vor längerer Zeit mehrere Firefox User, die bei einem 302 hängen geblieben sind, weil der während der aktuellen Session gecached wurde. Evtl. lag es an fehlerhaften Headern meinerseits, aber der 307 zeigte nicht dieses Problem, daher hatte ich den genutzt.

Wie gesagt ist das jetzt aber nicht mehr der Fall. Ich habe alles gegen 403 ersetzt. Sollte eine IP gesperrt sein, erhält der User nun diesen Response:

HTTP/1.1 403 Forbidden
Date: Wed, 19 Feb 2014 21:40:24 GMT
Server: Apache
Vary: Accept-Encoding
Content-Encoding: gzip
Content-Length: 359
Keep-Alive: timeout=15, max=98
Connection: Keep-Alive
Content-Type: text/html

Die Seite gibt dann ein reCaptcha aus, über das man dann seine IP wieder freischalten kann. Falls sich jemand für die Firewall interessiert, ich habe den Code hier öffentlich gemacht:
https://www.maxrev.de/php-firewall-bloc ... 234957.htm

In den 2 Jahren seit Einführung wurden 15.500 IPs gesperrt. Heute habe ich bei einem Bekannten mit dem gleichen Code eine DoS Attacke erfolgreich abgewehrt. Dort wurden innerhalb von 3 Stunden 400 IPs gesperrt und danach rannte der Server wieder.

Filter um Google vor der Firewall zu bewahren muss man allerdings selbst umsetzen

Allerdings gibt es ja hier einen Tipp wie man das machen kann:
https://support.google.com/webmasters/a ... 0553?hl=en

Verfasst: **11.03.2014, 01:06**

So die Caches wurden nun zum großen Teil aktualisiert und zeigen jetzt wieder Tunermaster an. Finden konnte ich bisher nur noch diese Seite, die noch maxrev anzeigt:
https://webcache.googleusercontent.com/ ... nities.htm

Wobei die Seite ziemlich DC-lastig ist. Da muss ich mir mal etwas überlegen, wie ich die Seite informativer und mehr auf das jeweilige Projekt bezogener gestalte.

Ansonsten scheine ich aber das Problem behoben zu haben. Wenn ich auch nach den zahlreichen Anpassungen nicht wirklich weiß was es war.

ABAKUS

Google hat eine Weiterleitung gefunden, die ich nicht finde

Google hat eine Weiterleitung gefunden, die ich nicht finde