ABAKUS

Ihr Partner in Sachen SEO und Online Marketing
https://forum.abakus-internet-marketing.de/

Google Zugang zu Verzeichnis versperren

https://forum.abakus-internet-marketing.de/viewtopic.php?f=1&t=143672

Seite 1 von 2

Google Zugang zu Verzeichnis versperren

Verfasst: 14.09.2019, 11:42
von Joe85
Also irgendwie werden mein .htaccess, robots.txt und ich keine Freunde mehr werden. Ich wollte nämlich Google den Zugang zu einem Verzeichnis "hiddenfolder" verwehren, das alle anderen aber weiter nutzen können sollen.

Nach ein bisschen Googlen hab ich diese Zeilen am Ende meines .htaccess gesetzt:

Code: Alles auswählen

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot) [NC]
RewriteRule ^hiddenfolder/ - [L,F,NC]
Dann wollte ich hier ( http://www.botsimulator.com/index.php ) kontrollieren, ob Google auch wirklich der Zugang versperrt wird. Ergebnis: Keine Änderung, Google kann weiter auf das Verzeichnis zugreifen. Weiß einer, was ich hier falsch mache?

Eine Alternative wäre wohl, einen Ordner "hiddenfolder" zu erstellen und dort eine .htaccess zu platzieren. Allerdings wird www.meinesite.de/hiddenfolder dann gar nicht mehr angezeigt.

Verfasst:
von

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 14.09.2019, 16:17
von PascalC
Das Tool, das du benutzt (den botsimulator) scheint nicht die richtigen Informationen zu geben. Das liest nur die robots.txt aus aber nicht die robots meta tags auf der angegebenen Webseite.

Falls du eine Page nicht in Google haben willst solltest du die robots meta tags nehmen und sie auf der individuellen Seite im Header einfügen:

<meta name="googlebot" content="noindex" />

Wenn du den Zugang zu der Seite sperrst, kann Google den Link trotzdem indexieren wenn du oft zu ihm linkst. Das liegt dadran, dass wenn Google die Seite nicht lesen kann, dann erhält es auch nicht die Anweisung die Seite nicht zu indexieren. Der Link selbst kann indexiert werden, falls er besonders wichtig erscheint, er wird lediglich ohne Beschreibung angezeigt.

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 15.09.2019, 00:12
von Joe85
Falls du eine Page nicht in Google haben willst solltest du die robots meta tags nehmen und sie auf der individuellen Seite im Header einfügen
So hab ich das bisher geregelt, allerdings gilt das leider nicht mehr ( siehe z.B.: https://moz.com/blog/nofollow-sponsored-ugc oder https://www.seo-suedwest.de/5209-google ... -tags.html ).
Wenn du den Zugang zu der Seite sperrst, kann Google den Link trotzdem indexieren wenn du oft zu ihm linkst. Das liegt dadran, dass wenn Google die Seite nicht lesen kann, dann erhält es auch nicht die Anweisung die Seite nicht zu indexieren. Der Link selbst kann indexiert werden, falls er besonders wichtig erscheint, er wird lediglich ohne Beschreibung angezeigt.
Schon klar. Indexieren ist okay, ich will nur nicht, dass Google die Seiten crawlt.

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 00:39
von elmex
Joe85 hat geschrieben: ↑15.09.2019, 00:12 So hab ich das bisher geregelt, allerdings gilt das leider nicht mehr ( siehe z.B.: https://moz.com/blog/nofollow-sponsored-ugc oder https://www.seo-suedwest.de/5209-google ... -tags.html ).
Du verwechselst jetzt gerade nofollow und noindex. Noindex in META Tags (sollte) weiterhin funktionieren...

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 08:53
von fragichmich
elmex hat geschrieben: ↑16.09.2019, 00:39 Du verwechselst jetzt gerade nofollow und noindex. Noindex in META Tags (sollte) weiterhin funktionieren...
Nur zur Vollständigkeit - und "nofollow" in den META Tags natürlich auch.

Verfasst:
von

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 10:53
von Joe85
Noindex in META Tags (sollte) weiterhin funktionieren...
Wie gesagt, Indexieren ist mir nicht so wichtig. Google soll lediglich meine Seiten nicht crawlen.
Nur zur Vollständigkeit - und "nofollow" in den META Tags natürlich auch.
"2. Meta robots nofollow is a hint now, like rel-nofollow."
https://twitter.com/methode/status/1171951127916699648

Dazu noch:
https://d2v4zi8pl64nxt.cloudfront.net/n ... 466770.png

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 11:00
von Joe85
"Update: Meta-Robots-Nofollow nun ebenfalls eine Empfehlung
Damit nicht genug, denn es ändert sich nicht nur die Behandlung einzelner Links mit dem Nofollow-Attribut, sondern auch der Umgang mit Seiten, die sämtliche Links auf einer Seite mittels Meta-Robots-Tag Nofollow als Anweisung an den Crawler entwertet haben.

Auch diese Links wertet Google nun als Hinweis und entscheidet anschließend selbst, ob sie oder die Links auf der Seite analysiert und gewertet werden – oder eben nicht."
https://www.search-one.de/google-wertet-nofollow-links/

Genau darum geht es mir. Ich habe einige Seiten mit Links, bei denen die Links über die Meta-Angaben auf nofollow gestellt waren. Dazu waren die Seiten noch auf noindex eingestellt. Google hatte deshalb die Seiten und vor allem die Links darauf bisher komplett ignoriert - wie von mir gewünscht. Das hat sich vor ein paar Tagen geändert, wie ich an meinen Besucherzahlen schmerzhaft feststellen durfte.

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 13:42
von staticweb
> Ich wollte nämlich Google den Zugang zu einem Verzeichnis "hiddenfolder" verwehren, das alle anderen aber weiter nutzen können sollen.

Google darf nicht, aber Bing z.B. dürfte?

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 15:36
von Joe85
Google darf nicht, aber Bing z.B. dürfte?
Nach Möglichkeit keine relevante Suchmaschine. Primär geht es mir aber erstmal um Google.

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 16:43
von arnego2
Joe85 hat geschrieben: ↑16.09.2019, 15:36
Google darf nicht, aber Bing z.B. dürfte?
Nach Möglichkeit keine relevante Suchmaschine. Primär geht es mir aber erstmal um Google.
das Verzeichnis über Passwort schützen?

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 17:39
von Joe85
das Verzeichnis über Passwort schützen?
Nee, die User sollen die Seiten wie gehabt ganz normal nutzen können, ohne vorher ein Passwort eingeben zu müssen.

Am naheliegendsten wäre wirklich eine Lösung via htaccees, oder? Nur scheine ich irgendwie zu blöd dafür zu sein.

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 17:54
von arnego2
Joe85 hat geschrieben: ↑16.09.2019, 17:39 Nee, die User sollen die Seiten wie gehabt ganz normal nutzen können, ohne vorher ein Passwort eingeben zu müssen.

Am naheliegendsten wäre wirklich eine Lösung via htaccees, oder? Nur scheine ich irgendwie zu blöd dafür zu sein.
So vielleicht?

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]

Oder der hier:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]

Stackoverflow ;)

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 18:32
von staticweb
> Nach Möglichkeit keine relevante Suchmaschine. Primär geht es mir aber erstmal um Google.

Dann frage ich mich warum wegen so eines lapidaren Problems ein so langer Thread entsteht. Es wäre wahrscheinlich günstig gewesen, wenn du die Gründe für das Anliegen konkret dargelegt hättest.

Fakt ist, dass es außer einem zusätzlichem Login keine saubere Lösung gibt.

- robots.txt wird von den meisten SE-Bots akzeptiert. Wenn die Seite bereits im Index ist wäre es allerdings kontraprodukiv
- noindex würde eine Indizierung verhindern
- Änderung des Status-Codes über die htaccess könnte abhängig von IP oder UserAgent erfolgen, aber diese könnten sich auch mal ändern

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 19:10
von Joe85
- robots.txt wird von den meisten SE-Bots akzeptiert. Wenn die Seite bereits im Index ist wäre es allerdings kontraprodukiv
Die robots.txt hab ich bereits angepasst. Allerdings hab ich ja bereits in einem anderen Thread dargelegt, dass die Bots, die sich auf meiner Site herumtreiben, machen, was die wollen. Das gilt auch für den Googlebot. Deshalb hätte ich in diese Lösung nur beschränkt Vertrauen.
- noindex würde eine Indizierung verhindern
Wie gesagt, Indexierung ist mir egal.
So vielleicht?
Ich kann's nochmal damit probieren. Bei der RewriteRule - wo trag ich denn das Verzeichnis ein, das ich sperren möchte? Ich würde den Befehl nämlich gerne in die .htaccess meines Root-Verzechnisses stecken.

Re: Google Zugang zu Verzeichnis versperren

Verfasst: 16.09.2019, 22:27
von arnego2
Joe85 hat geschrieben: ↑16.09.2019, 19:10
Ich kann's nochmal damit probieren. Bei der RewriteRule - wo trag ich denn das Verzeichnis ein, das ich sperren möchte? Ich würde den Befehl nämlich gerne in die .htaccess meines Root-Verzechnisses stecken.
Einfach einfügen und dabei darauf achten das man ausserhalb anderer Regeln einfügt.
strg + f5 leert den Cache zum Prüfen.
Alle Zeiten sind UTC+02:00
Seite 1 von 2

Powered by phpBB® Forum Software © phpBB Limited

Deutsche Übersetzung durch phpBB.de