Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Ich hab' da mal 'ne Frage
 

Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?

Neues Thema eröffnen   Neue Antwort erstellen
 Hersteller- / Produktbilder anfragen Eine Domain auf zwei verschiedenen CMS  
csx

pr


: 09.02.2005
: 305



: 25.03.2017, 11:47    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: csx
csx
00 25.03.2017, 11:47
Antworten mit Zitat Antworten mit Zitat

Hab mich schon längere Zeit nicht mehr intensiv mit SEO-Themen beschäftigt, arbeite selbst als Web-Programmierer. Gestern hatte ich eine Diskussion mit einem unserer Inhouse-SEOs.

Es ging um Googlebot Crawling-Budgets. Er meinte, Google würde die robots.txt ab und zu ignorieren, und dort geblockte URLs trotzdem spidern (und damit geblockte/unnütze Seiten crawlen, und Crawling-Budget verschwenden).

Ist das so? Warum sollte Googlebot die robots.txt teilweise ignorieren und dort geblockte URLs crawlen? War etwas überrascht, das zu hören.

"Human beings, who are almost unique in having the ability to learn from the experience of others, are also remarkable for their apparent disinclination to do so." --Douglas Adams
00
Nach oben
csx Private Nachricht senden
Eric78

pr


: 04.11.2009
: 2887



: 25.03.2017, 11:56    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: Eric78
Eric78
00 25.03.2017, 11:56
Antworten mit Zitat Antworten mit Zitat

Ist Quatsch, denke ich. Entweder ein Bot spidert und ignoriert die robots.txt oder er spidert nicht und beachtet die robots.txt.

Dein Inhouse-SEO sollte lieber belegen können warum ausgerechnet nur manchmal der Spider die robots.txt ignorieren sollte.
00
Nach oben
Eric78 Private Nachricht senden
arnego2

pr


: 23.02.2016
: 986



: 25.03.2017, 12:33    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: arnego2
arnego2
00 25.03.2017, 12:33
Antworten mit Zitat Antworten mit Zitat

Sagen kann man viel, belegen bleibt die Kunst.

Arnego2
00
Nach oben
arnego2 Private Nachricht senden WWW
Cin Media

pr


: 29.01.2017
: 274



: 25.03.2017, 15:45    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: Cin Media
Cin Media
00 25.03.2017, 15:45
Antworten mit Zitat Antworten mit Zitat

csx:

1. Ab und zu ignorieren gibt es nicht. Wenn dein Kollege richtig gemacht hat, dann wird es blockiert.
2. Es kann auch eventuell länger dauern bis eine Seite blockiert ist. Vielleicht bisschen Geduld haben.
3. Vielleicht hat er etwas falsch gemacht oder Dir etwas falsches erzählt.

Wir können von hier nicht wissen, was der genau in seinem WMT gemacht hat.

Viele Grüße

www.cin-media.de - SEO und individuelles Webdesign
00
Nach oben
Cin Media Private Nachricht senden WWW
csx

pr


: 09.02.2005
: 305



: 25.03.2017, 16:34    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: csx
csx
00 25.03.2017, 16:34
Antworten mit Zitat Antworten mit Zitat

Danke erstmal für die Antworten. Passiert ist bisher nix. Er hat nur Sorge wegen GET-Parametern in XHR-Requests, weil Google die eventuell aus dem HTML/JavaScript auslesen und dann crawlen könnte.

Wenn es irgendjemand schon mal erlebt hat, dass Googlebot URLs gecrawlt hat, die durch robots.txt gesperrt waren, würde mich das interessieren. Ansonsten gehe ich erstmal davon aus, dass es Quatsch ist, und Google die robots.txt so beachtet, wie sie es hier beschreiben.

"Human beings, who are almost unique in having the ability to learn from the experience of others, are also remarkable for their apparent disinclination to do so." --Douglas Adams
00
Nach oben
csx Private Nachricht senden
/Affilitiv/

pr


: 11.08.2015
: 431



: 28.03.2017, 15:55    : Re: Stimmt es, dass Googlebot manchmal die robots.txt ignori
Von: /Affilitiv/
/Affilitiv/
00 28.03.2017, 15:55
Antworten mit Zitat Antworten mit Zitat

csx hat Folgendes geschrieben:
Crawling-Budget verschwenden).

Wenn die Polizei ..... einfach so rumfährt
dann ist das Benzinverschwendung?

Früher machten Die das
Früher war die Welt besser?
Früher konnte man Angst haben erwicht zu werden
Heute kann BöSE machen was es will (ohne das ZUFÄLLIG die Polizei vorbei kommt)

Cin Media hat Folgendes geschrieben:
1. Ab und zu ignorieren gibt es nicht.

Ab und Zu
ignoriert jemand im Supermarkt die Kasse
Cin Media hat Folgendes geschrieben:
3. Vielleicht hat er etwas falsch gemacht oder Dir etwas falsches erzählt.
Wir können von hier nicht wissen, was der genau in seinem WMT gemacht hat.

Wo war die Rede von WMT?
http://www.webspeyer.de/robots.txt was hat das mit WMT zu tun?

Cin Media hat Folgendes geschrieben:
3. Vielleicht

Vielleicht kuckt Google "ab und zu" nach was so versteckt wird?

Was würdest Du tun wenn Du Google wärst?
Ich würde tun was ich tun kann

"dont be evil"
if you do it
then i hau dir dein Ranking ....

kommt und zeigt mir eure „Umlaute“ da ist ein Webkatalog für Domains mit Umlauten
00
Nach oben
/Affilitiv/ Private Nachricht senden WWW
Cin Media

pr


: 29.01.2017
: 274



: 29.03.2017, 10:24    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: Cin Media
Cin Media
00 29.03.2017, 10:24
Antworten mit Zitat Antworten mit Zitat

/Affilitiv/:

Sorry, aber ich verstehe Dich nicht. Ich als Migrant tue es mir sogar schwer deine Sätze zu verstehen. Ich glaube Dir, dass Du kein Drogen nimmst.

Die Welt braucht solche Menschen wie Dich, sonst wäre sie langweilig.

Viele Grüße

www.cin-media.de - SEO und individuelles Webdesign
00
Nach oben
Cin Media Private Nachricht senden WWW
Cash

pr


: 02.11.2005
: 416



: 29.03.2017, 10:58    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: Cash
Cash
00 29.03.2017, 10:58
Antworten mit Zitat Antworten mit Zitat

Durchaus möglich, dass ein Bot namens Googlebot die robots.txt ignoriert.
Das ist doch nichts neues oder?

Fast jeder getarnte SEO gibt sich als Googlebot aus und versucht damit hinter die Geheimnisse so macher Seite zu kommen.
Wenns denn klappt damit!
00
Nach oben
Cash Private Nachricht senden
Panelo

pr


: 26.09.2016
: 72



: 01.04.2017, 14:26    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: Panelo
Panelo
00 01.04.2017, 14:26
Antworten mit Zitat Antworten mit Zitat

@csx: Rein technisch ist es durchaus möglich. Mit Gewissheit wird es einem aber nur Google sagen können...

Kostenloses Buch: WIE DU MIT EINER NISCHENSEITE 2432€ IM MONAT VERDIENST
00
Nach oben
Panelo Private Nachricht senden WWW
csx

pr


: 09.02.2005
: 305



: 02.04.2017, 15:47    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: csx
csx
00 02.04.2017, 15:47
Antworten mit Zitat Antworten mit Zitat

@Cash: Bin mir sicher, dass die den Googlebot nach IP erkennen. Ist keine kleine Firma.

@Panelo: Klar ist es technisch "möglich". Ich hab nur gefragt um zu sehen ob irgendjemand eventuell schon Belege hat / es jemandem schonmal passiert ist.

Ich selbst habe in 15+ Jahren noch nie gesehen, dass ein echter Googlebot auf einer meiner Seiten eine robots.txt-gesperrte Seite gecrawlt hätte. Aber das mag bei anderen anders sein.

"Human beings, who are almost unique in having the ability to learn from the experience of others, are also remarkable for their apparent disinclination to do so." --Douglas Adams
00
Nach oben
csx Private Nachricht senden
Melegrian

pr


: 30.01.2005
: 3169



: 02.04.2017, 16:29    : Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?
Von: Melegrian
Melegrian
00 02.04.2017, 16:29
Antworten mit Zitat Antworten mit Zitat

Die Frage beantwortet doch Google seit eh und je allein:

:
Zwar crawlt oder indexiert Google die von der robots.txt-Datei blockierten Inhalte nicht, aber es ist dennoch möglich, dass nicht zugelassene URLs auf anderen Seiten im Internet gefunden und indexiert werden.

https://support.google.com/webmasters/answer/6062608?hl=de

Soll heißen, der Bot sieht nur die URL und weiß nicht, ob er die Seite besuchen darf oder nicht. Die können teilweise gut und gerne dann ohne Description in den Serps auftauchen und verschwinden erst nach einiger Zeit wieder aus den Serps. Zumindest war es einst so, jetzt habe ich das schon ewig nicht mehr kontrolliert.

Scripts und Plugins für Cookie-Hinweise
00
Nach oben
Melegrian Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Ich hab' da mal 'ne Frage

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Fehlermeldung: "Bist du sicher, dass du das tun möchtes Fehlermeldung: "Bist du sicher, ... Steven_age Content Management Systeme, Blog- & Shopsysteme 6 14.12.2017, 21:56 Fehlermeldung: "Bist du sicher, dass du das tun möchtes
Manchmal sind die AdWords Suchvolumina unglaubwürdig... Manchmal sind die AdWords Suchvolumin... illusionfactory Google Adwords & Facebook Ads, Yahoo!, Microsoft adCenter 2 12.12.2017, 13:24 Manchmal sind die AdWords Suchvolumina unglaubwürdig...
Forum lädt manchmal ewig Forum lädt manchmal ewig Hanzo2012 Forum- und Community-Feedback 2 09.11.2017, 16:55 Forum lädt manchmal ewig
robots.txt - URL mit varibablem Zwischenpfad sperren robots.txt - URL mit varibablem Zwisc... mxdb Ich hab' da mal 'ne Frage 3 25.10.2017, 09:00 robots.txt - URL mit varibablem Zwischenpfad sperren
Meta Description wird komplett ignoriert Meta Description wird komplett ignoriert arnego2 Google Forum 9 14.09.2017, 15:34 Meta Description wird komplett ignoriert
Themen, Detailseiten, Meta-Robots Themen, Detailseiten, Meta-Robots alexherbs Ich hab' da mal 'ne Frage 5 07.09.2017, 19:09 Themen, Detailseiten, Meta-Robots
Archive.org beachtet nicht mehr die Robots.txt Archive.org beachtet nicht mehr die R... superolli Infos, News & SEO Gerüchte 19 10.05.2017, 07:44 Archive.org beachtet nicht mehr die Robots.txt


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

Stimmt es, dass Googlebot manchmal die robots.txt ignoriert? Stimmt es, dass Googlebot manchmal die robots.txt ignoriert? - Österreich Stimmt es, dass Googlebot manchmal die robots.txt ignoriert? - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Stimmt es, dass Googlebot manchmal die robots.txt ignoriert?