Seite 1 von 5
Spider Software
Verfasst: 03.07.2019, 12:55
von swinkel
Hallo zusammen,
wir suchen eine Spider Software, welche Firmenadressen von verschiedenen Portalen (z.B. gelbe Seiten)
ausliest und als Excel Tabelle ausgeben kann.
Wir brauchen die Software im optimalen Fall für Mac OS.
Jegliche Software, die ich bisher gefunden habe, bezieht sich immer auf 1 Portal wie z.B. Gelbe Seiten.
Kennt jemand eine etwas umfänglichere Software, die verschiedene Portale auslesen kann? ( Gerne Gelbe Seiten, WLW und Yelp etc)?
Gruß
Sascha
Re: Spider Software
Verfasst: 04.07.2019, 07:53
von nerd
swinkel hat geschrieben: ↑03.07.2019, 12:55
Kennt jemand eine etwas umfänglichere Software, die verschiedene Portale auslesen kann?
Warum nicht einfach selber machen?
Gelbe seiten auslesen in 4 einfachen schritten:
-
https://www.gelbeseiten.de/Branchen/Imbiss/M%C3%BCnchen aufrufen
- Console oeffnen (F12)
- Code einfuegen:
Code: Alles auswählen
$("#gs_treffer article>div.table .h2 span").each(function(key,data){console.log($(data).text())});
- In deine excel tabelle kopieren
- fertig!
Das liest natuerlich nur die aktuelle seite aus; wenn die gelben seiten wollten das du dir ihren kompletten datensatz aneignest, wuerden sie dir natuerlich irgendwo einen praktischen download in verschiedenen formaten dafuer anbieten.
Re: Spider Software
Verfasst: 04.07.2019, 10:06
von swinkel
Warum nicht einfach selber machen?
Gelbe seiten auslesen in 4 einfachen schritten:
-
https://www.gelbeseiten.de/Branchen/Imbiss/M%C3%BCnchen aufrufen
- Console oeffnen (F12)
- Code einfuegen:
Code: Alles auswählen
$("#gs_treffer article>div.table .h2 span").each(function(key,data){console.log($(data).text())});
- In deine excel tabelle kopieren
- fertig!
Das liest natuerlich nur die aktuelle seite aus; wenn die gelben seiten wollten das du dir ihren kompletten datensatz aneignest, wuerden sie dir natuerlich irgendwo einen praktischen download in verschiedenen formaten dafuer anbieten.
Wollte es mir so einfach wie möglich machen, aber "selber machen" wäre sonst eine Alternative für mich. Danke für den Code, ich werde es mal ausprobieren.
Gruß
Sascha
Re: Spider Software
Verfasst: 04.07.2019, 10:36
von staticweb
> Wollte es mir so einfach wie möglich machen, aber "selber machen" wäre sonst eine Alternative für mich. Danke für den Code, ich werde es mal ausprobieren.
Der Selector sollte auch nicht das "Problem" sein, der in diesem Fall über eine einfache jQuery-Funktion (nur) die Firmennamen ausgibt.
Was du benötigst ist ein WebScraper mit automatisierter Datenextraktion.
Re: Spider Software
Verfasst: 07.09.2019, 07:46
von supervisior
Das Thema ist zwar schon älter, aber die Lösung gibts hier:
https://webscraper.io/