Online Marketing Forum Deutschland
 
ABAKUS Online Marketing Forum
Suchmaschinenoptimierung
+ABAKUS
ABAKUS bei Google+
Facebook
ABAKUS bei Facebook
Google+ SEO Community von ABAKUS
Google+
SEO Community

   

ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 

Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1

Neues Thema eröffnen   Neue Antwort erstellen Gehe zu Seite 1, 2  Weiter
 Neue Inhalte / alte Inhalte im Index periodischen Content Bot-freudlich kennzeichnen - Wie?  
Guy-Incognito

pr


: 29.09.2011
: 196
: Berlin


: 14.05.2019, 14:10    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: Guy-Incognito
Guy-Incognito
00 14.05.2019, 14:10
Antworten mit Zitat Antworten mit Zitat

Hallo,

bei der Analyse von Kundenlogfiles ist mir aufgefallen das der Googlebot immer zur gleichen Zeit jeweils das alte Protokoll HTTP/1.0 und das neuere HTTP/1.1 abfragt:

Code:
[06/May/2019:00:00:31 +0200] ""GET /page1/example/ HTTP/1.0"" 200 96439 ""-"" ""Mozilla/5.0 (compatible Googlebot/2.1 +http://www.google.com/bot.html)
[06/May/2019:00:00:31 +0200] ""GET /page1/example/ HTTP/1.1"" 200 22909 ""-"" ""Mozilla/5.0 (compatible Googlebot/2.1 +http://www.google.com/bot.html)


Wisst ihr eventuell warum der Googlebot hier noch das alte Protokoll verwendet? Hat es eventuell etwas mit der Serverkonfiguration zu tun? Der Kunde nutzt Nginx 1.10.3.
00
Nach oben
Guy-Incognito Private Nachricht senden
staticweb

pr


: 04.05.2016
: 1011



: 14.05.2019, 16:03    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: staticweb
staticweb
00 14.05.2019, 16:03
Antworten mit Zitat Antworten mit Zitat

> ... das der Googlebot immer zur gleichen Zeit ...

War es denn überhaupt der Google Bot???
00
Nach oben
staticweb Private Nachricht senden
Guy-Incognito

pr


: 29.09.2011
: 196
: Berlin


: 15.05.2019, 00:18    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: Guy-Incognito
Guy-Incognito
00 15.05.2019, 00:18
Antworten mit Zitat Antworten mit Zitat

:
War es denn überhaupt der Google Bot???


Ja, wie in dem kurzen Codeausschnitt zu sehen ist.
00
Nach oben
Guy-Incognito Private Nachricht senden
Hanzo2012

pr


: 26.09.2011
: 1662



: 15.05.2019, 06:10    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: Hanzo2012
Hanzo2012
00 15.05.2019, 06:10
Antworten mit Zitat Antworten mit Zitat

Jeder kann sich als Googlebot ausgeben. Sicher kannst du erst sein, wenn du die IP-Adresse rückwärts auflöst.00
Nach oben
Hanzo2012 Private Nachricht senden
staticweb

pr


: 04.05.2016
: 1011



: 15.05.2019, 08:25    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: staticweb
staticweb
00 15.05.2019, 08:25
Antworten mit Zitat Antworten mit Zitat

> Ja, wie in dem kurzen Codeausschnitt zu sehen ist.

Es ist sehr naiv nach dem Schema WYSIWYG vorzugehen.
00
Nach oben
staticweb Private Nachricht senden
supervisior

pr


: 26.06.2006
: 894



: 15.05.2019, 08:36    : Re: Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: supervisior
supervisior
00 15.05.2019, 08:36
Antworten mit Zitat Antworten mit Zitat

Guy-Incognito hat Folgendes geschrieben:

Wisst ihr eventuell warum der Googlebot hier noch das alte Protokoll verwendet? Hat es eventuell etwas mit der Serverkonfiguration zu tun? Der Kunde nutzt Nginx 1.10.3.


Lass Dich von dem, was in Deinen Logfiles steht nicht in die Irre leiten. Webserver sind generell abwärtskompatibel, sodass auch ältere HTTP Protokolle unterstützt werden. Welche Version aber verwendet wird, entscheidet nicht der Webserver, sondern der Client. Mein Webserver unterstützt in Teilen bereits das HTTP/3 Protokoll und verwendet trotzdem noch ältere Protokolle, wenn der Browser nicht mehr kann. Siehe Internet Explorer oder so ziemlich jeder Bot. Allerdings ist der Wahrheitsgehalt zum Protokoll in den Logfiles mit Vorsicht zu genießen.

Was Deine Entdeckung zum Googlebot anbetrifft, hättest Du die IP Adresse mitliefern sollen, aber auch ohne diese IP ist da aus Deinem Logfile Auszug etwas verdächtig. Es mag daran liegen wie nginx die Logfiles formatiert, aber ein Googlebot User Agent ohne Semikolon, ist eigentlich ungewöhnlich.

QUIC ist Google's neuer Turbo für noch mehr Server Speed. Noch schneller ist QUIC mit Turbo UND Lachgaseinspritzung. Mit QUIC + NOS kann Deine Webseite fliegen.
00
Nach oben
supervisior Private Nachricht senden
Guy-Incognito

pr


: 29.09.2011
: 196
: Berlin


: 15.05.2019, 13:50    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: Guy-Incognito
Guy-Incognito
00 15.05.2019, 13:50
Antworten mit Zitat Antworten mit Zitat

:
Was Deine Entdeckung zum Googlebot anbetrifft, hättest Du die IP Adresse mitliefern sollen


Hier die Logs mit IP:

Code:
2019-05-05T22:00:32.852Z,"10.111.62.22 - - [06/May/2019:00:00:31 +0200] ""GET /page1/example HTTP/1.0"" 200 96439 ""-"" ""Mozilla/5.0 (compatible Googlebot/2.1 +http://www.google.com/bot.html)"""
2019-05-05T22:00:32.852Z,"66.249.76.52 - - [06/May/2019:00:00:31 +0200] ""GET /page1/example HTTP/1.1"" 200 22909 ""-"" ""Mozilla/5.0 (compatible Googlebot/2.1 +http://www.google.com/bot.html)"""
2019-05-05T22:01:18.641Z,"10.111.62.22 - - [06/May/2019:00:01:17 +0200] ""GET /page2/example HTTP/1.0"" 200 99563 ""-"" ""Mozilla/5.0 (compatible Googlebot/2.1 +http://www.google.com/bot.html)"""
2019-05-05T22:01:19.851Z,"66.249.76.50 - - [06/May/2019:00:01:17 +0200] ""GET /page2/example HTTP/1.1"" 200 23072 ""-"" ""Mozilla/5.0 (compatible Googlebot/2.1 +http://www.google.com/bot.html)"""


Die IP 66.249.76 ist wohl den Googleservern zuzuschreiben.
00
Nach oben
Guy-Incognito Private Nachricht senden
supervisior

pr


: 26.06.2006
: 894



: 15.05.2019, 13:58    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: supervisior
supervisior
00 15.05.2019, 13:58
Antworten mit Zitat Antworten mit Zitat

Guy-Incognito hat Folgendes geschrieben:

Die IP 66.249.76 ist wohl den Googleservern zuzuschreiben.


Womit Du Dir Dein Thema selbst beantwortet hast, was was und was nicht der Googlebot ist....

QUIC ist Google's neuer Turbo für noch mehr Server Speed. Noch schneller ist QUIC mit Turbo UND Lachgaseinspritzung. Mit QUIC + NOS kann Deine Webseite fliegen.
00
Nach oben
supervisior Private Nachricht senden
staticweb

pr


: 04.05.2016
: 1011



: 15.05.2019, 14:21    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: staticweb
staticweb
00 15.05.2019, 14:21
Antworten mit Zitat Antworten mit Zitat

Es gäbe noch die Möglichkeit, dass ein Google Rater oder Mitarbeiter deine Seite parallel mit einer IP außerhalb von Google inspiziert und schaut ob du über diese den gleichen Content auslieferst.00
Nach oben
staticweb Private Nachricht senden
Guy-Incognito

pr


: 29.09.2011
: 196
: Berlin


: 15.05.2019, 15:04    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: Guy-Incognito
Guy-Incognito
00 15.05.2019, 15:04
Antworten mit Zitat Antworten mit Zitat

:
Womit Du Dir Dein Thema selbst beantwortet hast, was was und was nicht der Googlebot ist....


Es geht mir auch viel mehr um die IP 10.111.62.22
00
Nach oben
Guy-Incognito Private Nachricht senden
supervisior

pr


: 26.06.2006
: 894



: 15.05.2019, 15:13    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: supervisior
supervisior
00 15.05.2019, 15:13
Antworten mit Zitat Antworten mit Zitat

Was soll daran interessant sein? Außer diese IP zu blocken damit der gleiche Nutzer am nächsten Tag mit einer anderen IP und einem gefakten User Agent Deine Seite wieder aufruft, kannst Du eh nix machen. Den User Agent zu ändern, kann jeder, Also was solls?!

staticweb hat Folgendes geschrieben:
Es gäbe noch die Möglichkeit, dass ein Google Rater oder Mitarbeiter deine Seite parallel mit einer IP außerhalb von Google inspiziert und schaut ob du über diese den gleichen Content auslieferst.


Wenn dem so wäre, dann würde dieser eine andere HTTP Version verwenden und vermutlich auch den User Agent richtig schreiben.

QUIC ist Google's neuer Turbo für noch mehr Server Speed. Noch schneller ist QUIC mit Turbo UND Lachgaseinspritzung. Mit QUIC + NOS kann Deine Webseite fliegen.
00
Nach oben
supervisior Private Nachricht senden
Hanzo2012

pr


: 26.09.2011
: 1662



: 15.05.2019, 16:15    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: Hanzo2012
Hanzo2012
00 15.05.2019, 16:15
Antworten mit Zitat Antworten mit Zitat

Interessant: Diese IP ist eigentlich eine private IP (so wie 192.168.xxx.xxx). Komisch, dass die in deinen Logs auftaucht.

@supervisior:
Das wird kein Fake-User sein, denn die Anfrage findet ja scheinbar immer zeitgleich mit der Google-Anfrage statt (bzw. unmittelbar davor).
00
Nach oben
Hanzo2012 Private Nachricht senden
supervisior

pr


: 26.06.2006
: 894



: 15.05.2019, 16:40    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: supervisior
supervisior
00 15.05.2019, 16:40
Antworten mit Zitat Antworten mit Zitat

Na wie konnte ich denn das Offensichtliche übersehen? Zefünferl....

Eine interne IP nachzubilden, ist dann eher die kleinere Herausforderung. Die aber in einen zeitgleichen Zusammenhang mit dem echten Request zusammen zu bringen dann aber schon, sofern das kein Copy&Paste Fehler ist?!

Nun wird das aber schon etwas seltsam.....

QUIC ist Google's neuer Turbo für noch mehr Server Speed. Noch schneller ist QUIC mit Turbo UND Lachgaseinspritzung. Mit QUIC + NOS kann Deine Webseite fliegen.
00
Nach oben
supervisior Private Nachricht senden
Hanzo2012

pr


: 26.09.2011
: 1662



: 15.05.2019, 23:02    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: Hanzo2012
Hanzo2012
00 15.05.2019, 23:02
Antworten mit Zitat Antworten mit Zitat

supervisior hat Folgendes geschrieben:
Eine interne IP nachzubilden, ist dann eher die kleinere Herausforderung.

Nur interessehalber - wie würdest du das anstellen? IP Spoofing geht ja hier nicht wegen TCP. Du kannst zwar einzelne IP-Pakete mit falschem Absender schicken, und wenn du Glück hast, kommen sie auch an, aber die Antwort kriegst du nicht und kannst dementsprechend auch keine TCP-Verbindung zum Server aufbauen, um eine HTTP-Anfrage zu schicken.
00
Nach oben
Hanzo2012 Private Nachricht senden
supervisior

pr


: 26.06.2006
: 894



: 16.05.2019, 07:17    : Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1
Von: supervisior
supervisior
00 16.05.2019, 07:17
Antworten mit Zitat Antworten mit Zitat

Sorry, aber ich kann (darf) Deine Neugierde leider nicht befriedigen. Hier eine Anleitung zu veröffentlichen womit man böse Dinge machen kann, würde wohl auch gegen die Abakus Netiquette verstoßen und möchte es nicht darauf anlegen schon wieder von einem Offiziellen abgemahnt zu werden.

Nebenbei.... Man kann mit dem Wissen darüber, ich betone mit dem Wissen, auch Geld verdienen und gebe ungern solche Informationen preis.

QUIC ist Google's neuer Turbo für noch mehr Server Speed. Noch schneller ist QUIC mit Turbo UND Lachgaseinspritzung. Mit QUIC + NOS kann Deine Webseite fliegen.
00
Nach oben
supervisior Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen

Gehe zu Seite 1, 2  Weiter
Seite 1 von 2
Gehe zu Seite 1, 2  Weiter
 





Ähnliche Beiträge
Thema Online Marketing Forum Antworten
Googlebot und die Crux mit 301 Weiterleitungen Googlebot und die Crux mit 301 Weiter... supervisior Weiterleitungen und mod_rewrite 2 15.05.2019, 13:40 Googlebot und die Crux mit 301 Weiterleitungen
Googlebot findet x-robots Header Noindex - ist aber nicht! Googlebot findet x-robots Header Noin... supervisior Google Forum 33 10.05.2019, 16:01 Googlebot findet x-robots Header Noindex - ist aber nicht!
Googlebot hat Probleme beim Abruf von Ressourcen Googlebot hat Probleme beim Abruf von... HighFlyer47 Ich hab' da mal 'ne Frage 6 04.04.2019, 09:19 Googlebot hat Probleme beim Abruf von Ressourcen
Website mit http und https im Index Website mit http und https im Index Myrtus Ich hab' da mal 'ne Frage 5 15.03.2019, 14:19 Website mit http und https im Index
Logfile Analyse Tools Logfile Analyse Tools Webler Ich hab' da mal 'ne Frage 6 20.02.2019, 12:28 Logfile Analyse Tools
Logfile: Auffällige Doppel-Visits von Macintosh und iPhone Logfile: Auffällige Doppel-Visits von... dark_rider Spiders / Robots Themen 13 15.02.2019, 13:57 Logfile: Auffällige Doppel-Visits von Macintosh und iPhone
http auf https für erstellten Pfad http auf https für erstellten Pfad Ketose 38 Weiterleitungen und mod_rewrite 0 18.01.2019, 17:51 http auf https für erstellten Pfad


SEO Wetter von www.seowetter.de

Startseite der SEO-Agentur ABAKUS | SEO Blog | SEO Online Tools | SEO Angebote | Modulare SEO Seminare

Impressum | Datenschutz

Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1 Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1 - Österreich Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1 - Schweiz

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: Logfile: Googlebot verwendet gleichzeitig HTTP/1.0+1.1