registrieren registriertes Mitglied


Anzeige

Anzeige

Spider Software

Alles zu Domain-Umzug, Weiterleitungen und Robots diskutiert Ihr hier.
nerd
PostRank 10
PostRank 10
Beiträge: 4521
Registriert: 15.02.2005, 04:02

Beitrag nerd » 21.10.2019, 12:04 Spider Software

elmex hat geschrieben: 18.10.2019, 09:28 Einfach nur WOW wie ihr hier bereitwillig erklärt, Datenbestände abzusaugen.
Den selector rauszubekommen ist ja relativ trivial. Allerdings muss der crawler ja auch paging und navigation beherrschen um mehr als eine seite abzuarbeiten. Und abgesehen davon wird der erzeugte datenstand ja auch nicht besonders hilfreich sein, da sich bei einer millione eintraegen bestimmt pro tag ~100 oder so aendern, wegfallen oder auf irgendwelchen unterseiten neue hinzukommen.

Anzeige von: