Crawler

Crawler, engl. Kriechtier, sind Bots, Scripte, die selbstständig das Web durchsuchen, Links verfolgen und Inhalte auswerten. Diese Durchsuchung erfolgt selbstständig und automatisch, daher nennen Fachleute die Crawler auch Robots. Der zurückgelegte Weg der Crawler ist mit einem Spinnennetz vergleichbar, deshalb auch die alternative Bezeichnung Spider.

Der Crawler gelangt auf eine Seite und verfolgt dann alle internen und externen Links. So indexiert er die im Netz vorhandenen Seiten.