Suchmaschinenoptimierung
   
 

SEMSEO Konferenz 2012
 

 
 

"serverkompetenz.net" - bad, bad bot?

Gehe zu Seite Zurück  1, 2, 3
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen
 Who the fuck is TMCrawler "gugli-bot" "eagle"  
JR-EWING

pr


: 19.02.2004
: 1098
: Untermeitingen


: 06.11.2006, 15:25    : "serverkompetenz.net" - bad, bad bot? Antworten mit Zitat

ja so seh ich das auch. HEAD für einen Check ob die Links bzw Dateien noch da sind - sinnvoll.
Aber zum Contentklau wohl kaum geeignet, deswegen wird das da auch angezweifelt.

Es sei denn
vielleicht wollen die ja auch keine großen Filme,MP3 oder sowas größeres ziehen sondern nur Texte. Deswegen erstmal mit HEAD und dann später mit GET
Da GET keine Dateigröße ausliefert können die da nicht gleich damit drauf gehen

Spambot Falle - mein Blog
Wem das Wasser bis zum Hals steht, sollte nicht den Kopf hängen lassen.
Follow me on Twitter @ http://twitter.com/thomas_zeithaml
Nach oben
JR-EWING Private Nachricht senden WWW Besuche das Xing-Profil dieses Users
SloMo

pr


: 04.01.2005
: 4027



: 06.11.2006, 15:35    : "serverkompetenz.net" - bad, bad bot? Antworten mit Zitat

Doch, bei GET kommt auch der Header als Antwort. Also samt Größe und Mime-Type. Im Prinzip sind Skripte, die zuerst den HEAD anfragen, halt nur vorsichtig. Die wollen den Server nicht unnötig belasten.

Macht Google das nicht?
Nach oben
SloMo Private Nachricht senden
JR-EWING

pr


: 19.02.2004
: 1098
: Untermeitingen


: 06.11.2006, 15:45    : "serverkompetenz.net" - bad, bad bot? Antworten mit Zitat

mag sein - hab ich noch nicht darauf geachtet.

Google kenn ich nicht - suche immer mit altavista

Spambot Falle - mein Blog
Wem das Wasser bis zum Hals steht, sollte nicht den Kopf hängen lassen.
Follow me on Twitter @ http://twitter.com/thomas_zeithaml
Nach oben
JR-EWING Private Nachricht senden WWW Besuche das Xing-Profil dieses Users
SloMo

pr


: 04.01.2005
: 4027



: 06.11.2006, 20:51    : "serverkompetenz.net" - bad, bad bot? Antworten mit Zitat

Sehr vorbildlich
Nach oben
SloMo Private Nachricht senden
Neues Thema eröffnen   Neue Antwort erstellen    ABAKUS Foren-Übersicht -> Spiders / Robots Themen
Seite 3 von 3
Gehe zu Seite Zurück  1, 2, 3

 






Ähnliche Beiträge
Thema Forum Antworten
"Gefällt mir Button" in Deutschland immer noch ver "Gefällt mir Button" in Deu... Unbekannter Andere Marketingmaßnahmen und Webpromotion 2 10.02.2012, 12:55 "Gefällt mir Button" in Deutschland immer noch ver
(B) Textpakete zu "Berufliche Weiterbildung" und & (B) Textpakete zu "Berufliche We... sure Marktplatz: Dienstleistungen 0 09.02.2012, 17:11 (B) Textpakete zu "Berufliche Weiterbildung" und &
WMT: "agent & allow" als einziges Keyword? WMT: "agent & allow" al... Ch1cK3n Spiders / Robots Themen 0 07.02.2012, 12:45 WMT: "agent & allow" als einziges Keyword?
PSVita-Forum.de - Forum über den neuen Handheld "PS Vit PSVita-Forum.de - Forum über den neue... PSVFabian SEO-Feedback und -Reviews von Mitgliederwebseiten 0 06.02.2012, 17:27 PSVita-Forum.de - Forum über den neuen Handheld "PS Vit
Ein "Riesen Spaß" auf Gran Canaria Ein "Riesen Spaß" auf Gran ... tided Offtopic, Spaßecke und alle sonstigen Themen 11 05.02.2012, 23:24 Ein "Riesen Spaß" auf Gran Canaria
Google Indizierung - Artikel nur mit "" Zeichen au Google Indizierung - Artikel nur mit ... Lilu24 Google Forum 8 05.02.2012, 19:35 Google Indizierung - Artikel nur mit "" Zeichen au
Feedback zu Website aus dem Bereich "Personalbeschaffun Feedback zu Website aus dem Bereich &... andrew12345 SEO-Feedback und -Reviews von Mitgliederwebseiten 0 03.02.2012, 19:47 Feedback zu Website aus dem Bereich "Personalbeschaffun

Suchmaschinenoptimierung | Latent Semantische Optimierung (LSO) | SEO Blog | SEO Online Tools | Suchmaschinenmarketing Angebot | Online Marketing

Impressum

Dieses SEO Forum läuft unter phpBB.


Sie lesen gerade: "serverkompetenz.net" - bad, bad bot? - Seite 3