Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Google Forum
 

robots.txt wird von Google indexiert

Neues Thema eröffnen   Neue Antwort erstellen
 Adwords + Schnellere Indexierung? Unterschiede Keywords mit und ohne Bindestrich  
mits

pr


: 28.06.2006
: 15



: 24.02.2018, 12:26    : robots.txt wird von Google indexiert
Von: mits
mits
00 24.02.2018, 12:26
Antworten mit Zitat Antworten mit Zitat

Weiss jemand woran das liegt, sowas ist ja komplett "neben den Schuhen"..!


Beweis:



Freundliche Grüsse, Jan
00
Nach oben
mits Private Nachricht senden
ElCattivo

pr


: 12.02.2018
: 112



: 24.02.2018, 17:41    : robots.txt wird von Google indexiert
Von: ElCattivo
ElCattivo
00 24.02.2018, 17:41
Antworten mit Zitat Antworten mit Zitat

Die robots.txt ist halt genauso Inhalt der indexiert wird...ich finde das manchmal (wenn ich nach robots.txt Kram suche) sogar ziemlich praktisch. Mich stört aber genauso, dass man da kein "noindex" o.ä. setzen kann.

Ergo ich weiß auch keine Lösung. Es gibt höchstwahrscheinlich auch keine, solange Google selbst das nicht checkt.

Viele Grüße
ElCattivo

talent borrows, genius steals
00
Nach oben
ElCattivo Private Nachricht senden
mits

pr


: 28.06.2006
: 15



: 18.04.2018, 18:07    : robots.txt wird von Google indexiert
Von: mits
mits
00 18.04.2018, 18:07
Antworten mit Zitat Antworten mit Zitat

Hallo ElCattivo

Danke für Dein Feedback.

Wenn mich die Sache ernsthaft zu stören beginnt, dann werde ich die robots.txt halt nächstens entfernen... Google scheint es offenbar sowieso sonst wo vorbeizugehen, was in der robots.txt steht: Ich habe sämtliche Seiten nun mit /site1 UND /site1/ ("disallow") eingetragen, trotzdem indexiert Google munter weiter... und das Problem tritt selbst dann auf, wenn in den betreffenden Seiten "<meta
name="robots" content="noindex,follow" />" steht. Am "follow" wird's wohl kaum liegen, solange "noindex" da steht sollte die Seite in keinem Fall indexiert werden...

Sonst muss man halt etwas "basteln", was auf "user-agent: GoogleBot" prüft, und dann bei diesem user-agent die Auslieferung der HTTP(S)-Response blockieren. Radikal halt. (?)

Freundliche Grüsse, Jan
00
Nach oben
mits Private Nachricht senden
mits

pr


: 28.06.2006
: 15



: 18.04.2018, 18:11    : robots.txt wird von Google indexiert
Von: mits
mits
00 18.04.2018, 18:11
Antworten mit Zitat Antworten mit Zitat

...und auch wenn man in der Google Search Console den Eintrag manuell entfernent, was Google zulässt EBEN WEIL IN DER robots.txt ein entsprechender Eintrag vorhanden ist, dann ist die Seite für kurze Zeit aus dem Index raus, aber eben nur für (sehr) kurze Zeit... hmmmmmm... irgendwie total schräg, das Ganze..

Freundliche Grüsse, Jan
00
Nach oben
mits Private Nachricht senden
mogli

pr


: 07.06.2011
: 1061



: 18.04.2018, 18:13    : robots.txt wird von Google indexiert
Von: mogli
mogli
00 18.04.2018, 18:13
Antworten mit Zitat Antworten mit Zitat

Falls ihr mit einer .htaccess arbeiten könnt, lässt sich das noindex auch darüber realisieren:

<FilesMatch "robots\.txt">
Header set X-Robots-Tag "noindex"
</FilesMatch>

Dann hat sich das Problem erledigt.
00
Nach oben
mogli Private Nachricht senden
mits

pr


: 28.06.2006
: 15



: 18.04.2018, 18:34    : robots.txt wird von Google indexiert
Von: mits
mits
00 18.04.2018, 18:34
Antworten mit Zitat Antworten mit Zitat

Vielen Dank, ich denke das ist eleganter gelöst als wenn ich irgendwo im WordPress-Quelltext auf die URL /seite1 oder /seite1/ sowie "user-agent: GoogleBot" prüfe und dann die Auslieferung der Response verweigere!

Natürlich auch für robots.txt!!

Freundliche Grüsse, Jan
00
Nach oben
mits Private Nachricht senden
mits

pr


: 28.06.2006
: 15



: 18.04.2018, 20:12    : robots.txt wird von Google indexiert
Von: mits
mits
00 18.04.2018, 20:12
Antworten mit Zitat Antworten mit Zitat

Da die Webseite im Hintergrund über shared hosting gehostet wird, ist mod_headers scheinbar nicht verfügbar...

Ohne die If-Tags bekomme ich einen 500er, mit den If-Tage gibt das nicht mehr, allerdings zieht die Einstellung nicht. (Gestestet unter http://www.webconfs.com/http-header-check.php )

Da ich aber zusätzlich einen Vserver als mod_proxy habe, löse ich es darüber:

Code:
<LocationMatch "/robots.txt">
   ProxyPass http://www.abc.info.tm/robots.txt
   ProxyPassReverse http://www.abc.info.tm/robots.txt
   Header add X-Robots-Tag "noindex, follow"
   RequestHeader set X-Robots-Tag "noindex, follow"
</LocationMatch>



(Der shared Hoster hostet die info.tm-Domain (eigentlich obsolet), welche vom mod_proxy-Vserver nach aussen als vollwertige .xyz-Domain zur Verfügung gestellt wird..)

Freundliche Grüsse, Jan
00
Nach oben
mits Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Google Forum

Seite 1 von 1
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
[S] Suche Google Places Bewertungen [S] Suche Google Places Bewertungen Epiom Marktplatz: Dienstleistungen 0 21.06.2018, 15:00 [S] Suche Google Places Bewertungen
Seite von heute auf morgen nicht mehr bei google sichtbar Seite von heute auf morgen nicht mehr... Mvoegel Ich hab' da mal 'ne Frage 3 20.06.2018, 10:37 Seite von heute auf morgen nicht mehr bei google sichtbar
Google Update oder nur Experimente? Google Update oder nur Experimente? Esteamer Google Forum 5 19.06.2018, 10:43 Google Update oder nur Experimente?
Domainumzug und Auswirkungen bei Google und Co. Domainumzug und Auswirkungen bei Goog... top Ich hab' da mal 'ne Frage 4 18.06.2018, 17:47 Domainumzug und Auswirkungen bei Google und Co.
Google Fonts in Genesis Lifestyle Theme - DSGVO Google Fonts in Genesis Lifestyle The... Myrtus Ich hab' da mal 'ne Frage 5 15.06.2018, 14:17 Google Fonts in Genesis Lifestyle Theme - DSGVO
F*ckt sich Google damit nicht selbst ins Knie? F*ckt sich Google damit nicht selbst ... supervisior Google Adsense 21 14.06.2018, 10:33 F*ckt sich Google damit nicht selbst ins Knie?
Wie wertet Google minimale Änderungen mit visueller Wirkung? Wie wertet Google minimale Änderungen... Esteamer Google Forum 1 11.06.2018, 12:15 Wie wertet Google minimale Änderungen mit visueller Wirkung?


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | Social Media & SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Reif für die Klinik?

Impressum | Datenschutz

robots.txt wird von Google indexiert robots.txt wird von Google indexiert - Österreich robots.txt wird von Google indexiert - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: robots.txt wird von Google indexiert