robots.txt = Roboter ?

Kerstin83 · **Kerstin83** » 07.11.2016, 21:29 **robots.txt = Roboter ?**

Liebes Forum

Wenn ein User die robots.txt aufruft, kann man dann eigentlich in den allermeisten Fällen davon ausgehen, dass es sich auch um einen Roboter handelt ?

Die Konkurenz o.ä. wird das vielleicht auch mal machen. Aber machen das "normale" Nutzer, für die man die Seite ja schließlich hat ? Oder kommen die vielleicht aus diversen technischen Gründen irgendwie auf diese Datei ?

Liebe Grüße

Kerstin

/Affilitiv/ · **/Affilitiv/** » 07.11.2016, 22:54 **robots.txt = Roboter ?**

Kerstin83 hat geschrieben:machen das "normale" Nutzer,

da DU die Frage stellst, hast du bestimmt einen Gedanken "warum die das tun könnten"

diesen Gedanken würde ich gerne kennen (erzählst Du ihn mir?)

oder denkst Du das die das machen
aber dir fällt seit Wochen kein Grund ein warum die das machen könnten
und Du möchtest jetzt von uns wisssen warum die das tun
denn irgendjemand hier wird schon wissen warum die das tun

und warum ist es für dich relevant ob "nichtROBOT" sich die Datei anschaut?

Kerstin83 · **Kerstin83** » 07.11.2016, 23:03 **robots.txt = Roboter ?**

Vielleicht nochmal ein bisschen einfacher formuliert:

Wenn ich bei meinen Analysen alle Nutzer, die die robots.txt angesehen haben, herausnehme, betrifft das einen nennenswerten Teil der "normalen" User ?

[btk]tobi · **[btk]tobi** » 08.11.2016, 00:27 **robots.txt = Roboter ?**

Kommt sicher ein bisschen auf die Zielgruppe an.
Bei einer Seite für Webmaster/SEOs kommt es sicher gelegentlich mal vor dass jemand die robots.txt aufruft oder ein Browserplugin hat das die Datei anschaut.
Bei einer Seite über häkeln wird das sicher nicht all zu oft vorkommen.

Gruß Tobi

Kerstin83 · **Kerstin83** » 08.11.2016, 14:24 **robots.txt = Roboter ?**

Ja, ich denke, ein normaler Nutzer auf meiner Seite wird sich die robots.txt nicht bewusst ansehen.
Aber es könnte ja sein, dass es irgendwie indirekt geschieht, dass der Browser sozusagen während einer Sitzung die robots.txt besucht, ohne dass der Nutzer das merkt. Oder sie aus irgendwelchen anderen Gründen ausgelesen wird. Oder ist das völliger Quatsch ?

Liebe Grüße

Kerstin

Can · **Can** » 08.11.2016, 20:34 **robots.txt = Roboter ?**

Kerstin83 hat geschrieben:Ja, ich denke, ein normaler Nutzer auf meiner Seite wird sich die robots.txt nicht bewusst ansehen.
Aber es könnte ja sein, dass es irgendwie indirekt geschieht, dass der Browser sozusagen während einer Sitzung die robots.txt besucht, ohne dass der Nutzer das merkt. Oder sie aus irgendwelchen anderen Gründen ausgelesen wird. Oder ist das völliger Quatsch ?

Liebe Grüße

Kerstin

Völliger Quatsch. Ggf. gibt es aber SEO Extensions für den Browser die das machen und die der eine oder andere Webmaster installiert hat.

Im Endeffekt IST ES ABER WIRKLICH TOTAL EGAL WER DEINE ROBOTS AUFRUFT.

Vegas · **Vegas** » 09.11.2016, 11:22 **robots.txt = Roboter ?**

Spannend ist die Frage, warum Du das fragst, Kerstin. Sollte in der robots.txt z.B. ein Verzeichnis oder URLs stehen, auf das Nutzer nicht direkt zugreifen (können) sollen, dann ist die robots.txt als Schutzmaßnahme untauglich. Sie verhindert lediglich die Aufnahme in den Index, nicht aber das gezielte Aufrufen der dort definierten Verzeichnisse und/oder Dateien.