Der neue Spartenmoderator Bull hat eine äußerst hilfreiche Einführung zum Thema Spider und Robots geschrieben. Diesen Beitrag sollte man sich nicht entgehen lassen.
Spiders, Robots und Crawler bezeichnen im Endeffekt dieselbe Sache, nämlich (halb-)automatische Programme, welche (in der Regel) via HTTP oder ftp Dateien von einem Server herunterladen und lokal speichern. Dabei wird das Heruntergeladene lokal beim Betreiber des Roboters gespeichert, aber nicht angezeigt. Neben der Identifizierung und Zuordnung von Robotern geht es hier auch darum, das Verhalten derselben zu analysieren und Roboter eventuell auszusperren.