Warum registrieren? Nur als registriertes Mitglied vom ABAKUS Forum hast Du vollen Zugriff auf alle Funktionen unserer Website.

Google Zugang zu Verzeichnis versperren

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Joe85
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 14.09.2019, 11:42

Also irgendwie werden mein .htaccess, robots.txt und ich keine Freunde mehr werden. Ich wollte nämlich Google den Zugang zu einem Verzeichnis "hiddenfolder" verwehren, das alle anderen aber weiter nutzen können sollen.

Nach ein bisschen Googlen hab ich diese Zeilen am Ende meines .htaccess gesetzt:

Code: Alles auswählen

RewriteEngine On
RewriteBase /
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot) [NC]
RewriteRule ^hiddenfolder/ - [L,F,NC]
Dann wollte ich hier ( http://www.botsimulator.com/index.php ) kontrollieren, ob Google auch wirklich der Zugang versperrt wird. Ergebnis: Keine Änderung, Google kann weiter auf das Verzeichnis zugreifen. Weiß einer, was ich hier falsch mache?

Eine Alternative wäre wohl, einen Ordner "hiddenfolder" zu erstellen und dort eine .htaccess zu platzieren. Allerdings wird www.meinesite.de/hiddenfolder dann gar nicht mehr angezeigt.

ABAKUS Anzeige

von ABAKUS Anzeige »





SEO Consulting bei ABAKUS Internet Marketing.
Nutzen Sie unsere jahrelange Erfahrung und lassen Sie sich beraten!
Jetzt anfragen unter: SEO Consulting oder kontaktieren Sie uns direkt unter: 0511 / 300325-0


Benutzeravatar
PascalC
PostRank 1
PostRank 1
Beiträge: 6
Registriert: 08.09.2019, 21:03
Wohnort: Berlin
Kontaktdaten:

Beitrag von PascalC » 14.09.2019, 16:17

Das Tool, das du benutzt (den botsimulator) scheint nicht die richtigen Informationen zu geben. Das liest nur die robots.txt aus aber nicht die robots meta tags auf der angegebenen Webseite.

Falls du eine Page nicht in Google haben willst solltest du die robots meta tags nehmen und sie auf der individuellen Seite im Header einfügen:

<meta name="googlebot" content="noindex" />

Wenn du den Zugang zu der Seite sperrst, kann Google den Link trotzdem indexieren wenn du oft zu ihm linkst. Das liegt dadran, dass wenn Google die Seite nicht lesen kann, dann erhält es auch nicht die Anweisung die Seite nicht zu indexieren. Der Link selbst kann indexiert werden, falls er besonders wichtig erscheint, er wird lediglich ohne Beschreibung angezeigt.

Joe85
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 15.09.2019, 00:12

Falls du eine Page nicht in Google haben willst solltest du die robots meta tags nehmen und sie auf der individuellen Seite im Header einfügen
So hab ich das bisher geregelt, allerdings gilt das leider nicht mehr ( siehe z.B.: https://moz.com/blog/nofollow-sponsored-ugc oder https://www.seo-suedwest.de/5209-google ... -tags.html ).
Wenn du den Zugang zu der Seite sperrst, kann Google den Link trotzdem indexieren wenn du oft zu ihm linkst. Das liegt dadran, dass wenn Google die Seite nicht lesen kann, dann erhält es auch nicht die Anweisung die Seite nicht zu indexieren. Der Link selbst kann indexiert werden, falls er besonders wichtig erscheint, er wird lediglich ohne Beschreibung angezeigt.
Schon klar. Indexieren ist okay, ich will nur nicht, dass Google die Seiten crawlt.

elmex
PostRank 9
PostRank 9
Beiträge: 1035
Registriert: 03.05.2005, 10:09

Beitrag von elmex » 16.09.2019, 00:39

Joe85 hat geschrieben:
15.09.2019, 00:12
So hab ich das bisher geregelt, allerdings gilt das leider nicht mehr ( siehe z.B.: https://moz.com/blog/nofollow-sponsored-ugc oder https://www.seo-suedwest.de/5209-google ... -tags.html ).
Du verwechselst jetzt gerade nofollow und noindex. Noindex in META Tags (sollte) weiterhin funktionieren...

fragichmich
PostRank 1
PostRank 1
Beiträge: 18
Registriert: 28.05.2019, 13:52

Beitrag von fragichmich » 16.09.2019, 08:53

elmex hat geschrieben:
16.09.2019, 00:39
Du verwechselst jetzt gerade nofollow und noindex. Noindex in META Tags (sollte) weiterhin funktionieren...
Nur zur Vollständigkeit - und "nofollow" in den META Tags natürlich auch.

Joe85
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 16.09.2019, 10:53

Noindex in META Tags (sollte) weiterhin funktionieren...
Wie gesagt, Indexieren ist mir nicht so wichtig. Google soll lediglich meine Seiten nicht crawlen.
Nur zur Vollständigkeit - und "nofollow" in den META Tags natürlich auch.
"2. Meta robots nofollow is a hint now, like rel-nofollow."
https://twitter.com/methode/status/1171951127916699648

Dazu noch:
https://d2v4zi8pl64nxt.cloudfront.net/n ... 466770.png
Zuletzt geändert von Joe85 am 16.09.2019, 11:13, insgesamt 1-mal geändert.

Joe85
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 16.09.2019, 11:00

"Update: Meta-Robots-Nofollow nun ebenfalls eine Empfehlung
Damit nicht genug, denn es ändert sich nicht nur die Behandlung einzelner Links mit dem Nofollow-Attribut, sondern auch der Umgang mit Seiten, die sämtliche Links auf einer Seite mittels Meta-Robots-Tag Nofollow als Anweisung an den Crawler entwertet haben.

Auch diese Links wertet Google nun als Hinweis und entscheidet anschließend selbst, ob sie oder die Links auf der Seite analysiert und gewertet werden – oder eben nicht."

https://www.search-one.de/google-wertet-nofollow-links/

Genau darum geht es mir. Ich habe einige Seiten mit Links, bei denen die Links über die Meta-Angaben auf nofollow gestellt waren. Dazu waren die Seiten noch auf noindex eingestellt. Google hatte deshalb die Seiten und vor allem die Links darauf bisher komplett ignoriert - wie von mir gewünscht. Das hat sich vor ein paar Tagen geändert, wie ich an meinen Besucherzahlen schmerzhaft feststellen durfte.

staticweb
PostRank 9
PostRank 9
Beiträge: 1401
Registriert: 04.05.2016, 14:34

Beitrag von staticweb » 16.09.2019, 13:42

> Ich wollte nämlich Google den Zugang zu einem Verzeichnis "hiddenfolder" verwehren, das alle anderen aber weiter nutzen können sollen.

Google darf nicht, aber Bing z.B. dürfte?

Joe85
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 16.09.2019, 15:36

Google darf nicht, aber Bing z.B. dürfte?
Nach Möglichkeit keine relevante Suchmaschine. Primär geht es mir aber erstmal um Google.

Benutzeravatar
arnego2
PostRank 9
PostRank 9
Beiträge: 1624
Registriert: 23.02.2016, 13:55
Kontaktdaten:

Beitrag von arnego2 » 16.09.2019, 16:43

Joe85 hat geschrieben:
16.09.2019, 15:36
Google darf nicht, aber Bing z.B. dürfte?
Nach Möglichkeit keine relevante Suchmaschine. Primär geht es mir aber erstmal um Google.
das Verzeichnis über Passwort schützen?
Arnego2 <Webseiten ab 80 Euro>

Joe85
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 16.09.2019, 17:39

das Verzeichnis über Passwort schützen?
Nee, die User sollen die Seiten wie gehabt ganz normal nutzen können, ohne vorher ein Passwort eingeben zu müssen.

Am naheliegendsten wäre wirklich eine Lösung via htaccees, oder? Nur scheine ich irgendwie zu blöd dafür zu sein.

Benutzeravatar
arnego2
PostRank 9
PostRank 9
Beiträge: 1624
Registriert: 23.02.2016, 13:55
Kontaktdaten:

Beitrag von arnego2 » 16.09.2019, 17:54

Joe85 hat geschrieben:
16.09.2019, 17:39
Nee, die User sollen die Seiten wie gehabt ganz normal nutzen können, ohne vorher ein Passwort eingeben zu müssen.

Am naheliegendsten wäre wirklich eine Lösung via htaccees, oder? Nur scheine ich irgendwie zu blöd dafür zu sein.
So vielleicht?

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/htmlremix\.com" [R=301,L]

Oder der hier:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (googlebot|bingbot|Baiduspider) [NC]
RewriteRule .* - [R=403,L]

Stackoverflow ;)
Arnego2 <Webseiten ab 80 Euro>

staticweb
PostRank 9
PostRank 9
Beiträge: 1401
Registriert: 04.05.2016, 14:34

Beitrag von staticweb » 16.09.2019, 18:32

> Nach Möglichkeit keine relevante Suchmaschine. Primär geht es mir aber erstmal um Google.

Dann frage ich mich warum wegen so eines lapidaren Problems ein so langer Thread entsteht. Es wäre wahrscheinlich günstig gewesen, wenn du die Gründe für das Anliegen konkret dargelegt hättest.

Fakt ist, dass es außer einem zusätzlichem Login keine saubere Lösung gibt.

- robots.txt wird von den meisten SE-Bots akzeptiert. Wenn die Seite bereits im Index ist wäre es allerdings kontraprodukiv
- noindex würde eine Indizierung verhindern
- Änderung des Status-Codes über die htaccess könnte abhängig von IP oder UserAgent erfolgen, aber diese könnten sich auch mal ändern

Joe85
PostRank 1
PostRank 1
Beiträge: 16
Registriert: 23.08.2019, 16:27

Beitrag von Joe85 » 16.09.2019, 19:10

- robots.txt wird von den meisten SE-Bots akzeptiert. Wenn die Seite bereits im Index ist wäre es allerdings kontraprodukiv
Die robots.txt hab ich bereits angepasst. Allerdings hab ich ja bereits in einem anderen Thread dargelegt, dass die Bots, die sich auf meiner Site herumtreiben, machen, was die wollen. Das gilt auch für den Googlebot. Deshalb hätte ich in diese Lösung nur beschränkt Vertrauen.
- noindex würde eine Indizierung verhindern
Wie gesagt, Indexierung ist mir egal.
So vielleicht?
Ich kann's nochmal damit probieren. Bei der RewriteRule - wo trag ich denn das Verzeichnis ein, das ich sperren möchte? Ich würde den Befehl nämlich gerne in die .htaccess meines Root-Verzechnisses stecken.

Benutzeravatar
arnego2
PostRank 9
PostRank 9
Beiträge: 1624
Registriert: 23.02.2016, 13:55
Kontaktdaten:

Beitrag von arnego2 » 16.09.2019, 22:27

Joe85 hat geschrieben:
16.09.2019, 19:10

Ich kann's nochmal damit probieren. Bei der RewriteRule - wo trag ich denn das Verzeichnis ein, das ich sperren möchte? Ich würde den Befehl nämlich gerne in die .htaccess meines Root-Verzechnisses stecken.
Einfach einfügen und dabei darauf achten das man ausserhalb anderer Regeln einfügt.
strg + f5 leert den Cache zum Prüfen.
Arnego2 <Webseiten ab 80 Euro>

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag