|
|
Nasirea
: 18.12.2005
: 77
: Schweinfurt
|
| : 16.02.2006, 17:51 : Crawler aussperren wegen traffic - aber welche? |
|
|
Hi Forum,
mittlerweile komme ich auf sehr viel traffic durch Crawler, Bots, Backlinkchecker usw. usw. usw.
Natürlich möchte ich in so vielen Suchmaschinen wie möglich gut gelistet sein, aber der Traffic nimmt mittlerweile Ausmaße an, die ich eigentlich nicht mehr lustig finde (fast 4 Gig im Monat). Jetzt möchte ich die absolut sinnlosen Crawler (und vor allem Content-Klau-Bots, Email-Sniffer und Adress-Hunter) ausschließen über die robots.txt und ein eigenes Modul, dass je nach Agent oder IP ins Nirwana weiterleitet. Aber wie soll ich selektieren?
Hat jemand von euch eine Liste (oder Adresse) mit den schwarzen Schafen?
mfg |
|
| Nach oben |
|
 |
Malte Landwehr
: 22.05.2005
: 2607
: Münster
|
|
| Nach oben |
|
|
Nasirea
: 18.12.2005
: 77
: Schweinfurt
|
| : 16.02.2006, 18:51 : Böse Buben |
|
|
ah ja, genau sowas habe ich gesucht...
danke |
|
| Nach oben |
|
|
willy
: 20.08.2005
: 161
|
| : 17.02.2006, 22:35 : Crawler aussperren wegen traffic - aber welche? |
|
|
Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an  .
Weiterhin frage ich mich angesichts der robots.txt von abakus, ob nicht eine Positiv-Liste besser wäre - doch unter welchen Namen spidert z.B. google?
Grüße, Willy
Pagerank-Orakel |
|
| Nach oben |
|
|
matin
: 08.09.2005
: 1432
: Grünburg
|
| : 17.02.2006, 22:39 : Crawler aussperren wegen traffic - aber welche? |
|
|
| willy hat Folgendes geschrieben: |
Ich frage mich, wie Ihr die bots seht. Mein pphlogger zeigt mir nur echte Besucher an .
|
entweder in den logfiles oder mit einem php-statistik tool (z. b. webreflow) o
http://suchmaschinentricks.at/ - Ziehen Sie die Aufmerksamkeit im Internet auf sich ...
Kaufe verschiedene Projekte mit entsprechendem Content - Kontaktaufnahme per PN |
|
| Nach oben |
|
|
Hasso
: 12.01.2004
: 2110
|
|
| Nach oben |
|
|
AGB
: 28.11.2005
: 204
|
| : 19.02.2006, 08:38 : Crawler aussperren wegen traffic - aber welche? |
|
|
ich habe auf meiner website sehr viele pdf dateien, die aber nur aus bildern bildern bestehen, also keine indizierbaren texte enthalten.
wie kann ich die bots am besten daran hindern, diese pdfs zu saugen? |
|
| Nach oben |
|
|
Hasso
: 12.01.2004
: 2110
|
| : 19.02.2006, 13:04 : Re: Crawler aussperren wegen traffic - aber welche? |
|
|
@AGB
Für die Robots, die sich an die "robots.txt" - Datei halten wäre dies hier denkbar:
| Code: |
User-agent: *
Disallow: /*.pdf$ |
oder lege die alle .pdf´s in einen extra Ordner z.B. "ordner1" und sperre diesen:
| Code: |
User-agent: *
Disallow: /ordner1/ |
Für alle derjenigen Robots, die sich an die "robots.txt" - Datei nicht halten, helfen die Tipps aus den von mir oben erwähnten Threads (.htaccess - Lösungen)
Grüsse
Hasso |
|
| Nach oben |
|
|
![[S] Suche mehr Traffic](/foren/templates/DesertStorm/images/folder_lock.gif)
