ich stelle gerade fest, dass HTTrack 3.0x bei mir reichlich Traffic verursacht.
Das ist nach Eigenaussage ein "Website Copier".
Unter anderem kann man ja auch dann in einem Forum angegebenen E-Mail Adressen mit diesem Programm dieses als "E-Mail Grabbing" nutzen.
Und dann wird gespammt was das Zeug hält.
Da ist der Ärger vorprogrammiert .........
Frage:
Kann ich mit der Robots.txt dieses Proggy aussen vor lassen ?
Würde es mit dieser funktionieren:
Oder wie sollte dieses aussehen ?User-agent: HTTrack
Disallow: /
User-agent: *
Disallow:
Danke und Grüsse
Ralf