Google Bot macht schwachsinniges Zeugs

mits · **mits** » 15.07.2018, 22:45 **Google Bot macht schwachsinniges Zeugs**

Hallo zusammen!

Ca. zum hundertsten Mal habe ich nun diese URL's entfernt, welche von der "Plesk Default Website" stammen. Diese Dateien und Verzeichnisse sind seit Monaten (!!) gelöscht:

/test/fcgi/test.fcgi
/test/fcgi/test.html
/test/php/test.html
/test/php/test.php

...und trotzdem nimmt der Google Bot diese "Seiten" (welche nun keine mehr sind, sondern 404-Fehler) immer wieder auf. Entfernen scheint nix zu bringen, ein paar Tage später ist der ganze Kram wieder da!!

Was soll die Sc****se? Ich nerve mich langsam aber sicher ganz gewaltig darüber!! Man dreht sich dabei im Kreis!!! Wie behindert ist denn das?

Bin wohl nicht der einzige... und ich sehr es ABSOLUT NICHT EIN, warum ich die Seiten, Dateien, Verzeichnisse etc. behalten sollte und z.b. per robots.txt oder meta-noindex ausschliessen sollte?? Löschen und damit hat sich's... Google scheint immer wieder den alten Stand zu indexieren, und keine 404-Seiten.

Yanex, Bing und Yahoo sind VIEL fortschrittlicher was das Thema betrifft!!

arnego2 · **arnego2** » 16.07.2018, 00:21 **Google Bot macht schwachsinniges Zeugs**

Ja da hast du Recht.

Nur gibt es einen Unterschied zwischen dem was die Console die zeigt und was reell ist.
Das läuft meinen Infos nach nicht synchronisiert

nerd · **nerd** » 16.07.2018, 00:58 **Google Bot macht schwachsinniges Zeugs**

Wenn du selbst 404 setzt dann verhindert das ja keineswegs indexing, selbst wenn die seiten weg sind:

404 Not Found
The requested resource could not be found but may be available in the future. Subsequent requests by the client are permissible.

was du brauchst ist 410 Gone:

Indicates that the resource requested is no longer available and will not be available again. This should be used when a resource has been intentionally removed and the resource should be purged. Upon receiving a 410 status code, the client should not request the resource in the future. Clients such as search engines should remove the resource from their indices.

schau mal lieber nach wo die testseiten verlinkt sind wenn sie google so oft besucht und wiederfindet.

mits · **mits** » 16.07.2018, 03:29 **Google Bot macht schwachsinniges Zeugs**

Hallo zusammen!

Danke für die Beiträge!!

Also es ist ja definitiv so, dass meine Seite, welche auf dem Laravel Framework basisert, 404-Meldungen von Laravel zurückgibt... (Laravel vereinfacht mod_rewrite enorm!!) trotzdem werden diese ehemaligen Seiten...

/test/fcgi/test.fcgi
/test/fcgi/test.html
/test/php/test.html
/test/php/test.php

...immer wieder neu indexiert, und zwar so als wären sie immer noch anwesend, also ohne 404. Dabei existieren sie gar nicht mehr. Es besteht also ein gewaltiger Unterschied, zwischen dem was da ist und dem was Google indexiert...

Es wird also KEIN 404 indexiert!

mits · **mits** » 16.07.2018, 03:49 **Google Bot macht schwachsinniges Zeugs**

Wenn ich mich richtig erinnere, hatte ich das Problem vor ca. 10 Jahren auch schon mal... und es dauerte mindestens ein halbes Jahr, bis es von Google selbst bereinigt wurde.

Na ja.. wirklich hoch genial das Ganze...

MarkiMA · **MarkiMA** » 16.07.2018, 03:51 **Google Bot macht schwachsinniges Zeugs**

Schau nochmal, was nerd in dem Beitrag über Dir als letzten Satz geschrieben hat. Glaube, da findest DU Deine Antwort.

mits · **mits** » 16.07.2018, 03:57 **Google Bot macht schwachsinniges Zeugs**

Auch ist mir aufgefallen, dass Google manchmal sämtliche Sachen in der robots.txt oder den meta-index-Tags ignorert... es sei denn man verwendet das "x-robots-Tag", am besten über PHP (oder sonst ne serverseitige Sprache) oder (noch besser) per Apache mod_proxy:

-> https://www.abakus-internet-marketing.d ... 40520.html

...sogar "robots.txt" wird indexiert, wenn man das nicht regelt.

mits · **mits** » 16.07.2018, 03:59 **Google Bot macht schwachsinniges Zeugs**

"Schau nochmal, was nerd in dem Beitrag über Dir als letzten Satz geschrieben hat. Glaube, da findest DU Deine Antwort."

Ja, habe das schon gelesen und bin dankbar für seinen Tipp... kann aber nicht wirklich damit "leben", irgendwelche "Altlasten" auf der Webseite zu haben.

(Na ja, dann geht's halt wieder mindestens ein halbes Jahr, bis Google das gecheckt hat... ist zwar auch nicht wirklich ideal..)

mits · **mits** » 16.07.2018, 04:04 **Google Bot macht schwachsinniges Zeugs**

Oder beim Laravel Framework 404 global auf 410 ändern, radikal halt...!!

nerd · **nerd** » 16.07.2018, 05:05 **Google Bot macht schwachsinniges Zeugs**

mits hat geschrieben:Oder beim Laravel Framework 404 global auf 410 ändern, radikal halt...!!

Warum legst du die entsprechenden routes in der web.php nicht in eine eigene gruppe, und gibst in deiner middleware fuer diese gruppe pauschal 410 zurueck?

Code: Alles auswählen

Route&#58;&#58;group&#40;&#91;'prefix' => 'test'&#93;, function&#40;&#41; &#123;
    Route&#58;&#58;group&#40;&#91;'middleware' => &#91;'410gone'&#93;&#93;, function&#40;&#41; &#123;
        Route&#58;&#58;get&#40;'/', &#91;
            'uses' => '...',
            'as' => '...'
        &#93;&#41;;
    &#125;&#41;; 
&#125;&#41;;

mits · **mits** » 16.07.2018, 05:10 **Google Bot macht schwachsinniges Zeugs**

Danke für den Tipp!!

Bin eher noch der Kategorie "Anfänger" zuzuordnen, was Laravel betrifft. (Und nutze es nur sehr oberflächlich, hauptsächlich um ein MVC-Skeleton zu haben. Viel Code innerhalb davon ist "legacy PHP" und wird es wohl auch bleiben... ja, ich weiss, es gibt noch eine abgespeckte Variante von Laravel, genannt "Lumen"..)

Esteamer · **Esteamer** » 18.07.2018, 20:35 **Google Bot macht schwachsinniges Zeugs**

mits hat geschrieben:Bin eher noch der Kategorie "Anfänger" zuzuordnen, [...]

Ich denke eher, dass Du der Kategorie "Troll" zuzuordnen bist.

mits · **mits** » 19.07.2018, 17:15 **Google Bot macht schwachsinniges Zeugs**

Esteamer, es ist für mich ganz ehrlich gesagt "so lang wie breit", in welche Kategorie du mich einordnest.

Und: Was völlig sinnfrei, unreflektiert und undifferenziert ist, ist DEIN Beitrag mein Freund!

mits · **mits** » 19.07.2018, 17:35 **Google Bot macht schwachsinniges Zeugs**

Nun habe ich erneut das Problem, jedoch auf eine andere Art, nämlich das Google eine ehemaligen Subdomain erneut indiziert. Und wieder die Art, wäre dort immer noch Content verfügbar.

Dabei habe ich die Subdomain per A-Record auf 127.0.0.1 gesetzt. Aber nicht mal das scheint Google zu begreifen - wirklich sehr subtil das Ganze...

(Aber sowie schon klar, schlimmstenfalls die Subdomain wieder mit "Content" verfügbar machen und diesen entsprechend einrichten...)

Vegas · **Vegas** » 19.07.2018, 17:40 **Google Bot macht schwachsinniges Zeugs**

Google behandelt 404 und 410 exakt gleich, was auch schon mehrmals offiziell bestätigt wurde. Auch wenn 410 etwas anderes sagt, Google macht keinen Unterschied. Zudem tauchen solche Seiten bei einer Suche niemals auf, nur wenn man die Anzeige per site: künstlich provoziert.

Irgendwann fallen die von selbst wieder raus, insofern würde ich mir da keine Gedanken machen. Schädlich ist es definitiv nicht und Suchende bekommen diese Seiten auch nicht zu sehen.