ABAKUS

elmex hat geschrieben: ↑18.10.2019, 09:28 Einfach nur WOW wie ihr hier bereitwillig erklärt, Datenbestände abzusaugen.

Nur ist die Idee weder neu noch stösst sie auf Gegenliebe bei den Gelben Seiten & Co. Eben diese schützen sich gegen unzulässige Datennutzung schon länger, als es das Internet gibt. Denn das war schon bei den dicken gelben Telefonbüchern ein Thema. Also Finger von lassen, denn die haben ihre Tricks, Euch zu erwischen, wenn ihr diese Daten nutzt oder gar noch selber veröffentlicht!

Ich sehe hier keine nachbaubare Anleitung u. dann beobachte ich, dass dieser Vorschuss-Respekt nicht immer gerechtfertigt ist. Weiter: dass der Verkauf o. Republish solcher Daten irgendwie - OHA - dumm ist, müsste man dann schon wissen.

Ich denke, dass man bei diesen Diskussionen streng am Thema bleiben sollte.

nerd hat geschrieben: ↑21.10.2019, 12:04

elmex hat geschrieben: ↑18.10.2019, 09:28 Einfach nur WOW wie ihr hier bereitwillig erklärt, Datenbestände abzusaugen.

Den selector rauszubekommen ist ja relativ trivial. Allerdings muss der crawler ja auch paging und navigation beherrschen um mehr als eine seite abzuarbeiten. Und abgesehen davon wird der erzeugte datenstand ja auch nicht besonders hilfreich sein, da sich bei einer millione eintraegen bestimmt pro tag ~100 oder so aendern, wegfallen oder auf irgendwelchen unterseiten neue hinzukommen.

Meistens sieht man das anhand von irgendeiner simplen Zahlenlogik. Wenn man das Muster verstanden hat, lässt sich der Käse automatisieren. Ich hatte da erst dieses Jahr sowas bei einem asiatischen SoMe-System in die Finger bekommen u. da ein paar GB abgeholt.

> Meistens sieht man das anhand von irgendeiner simplen Zahlenlogik. Wenn man das Muster verstanden hat, lässt sich der Käse automatisieren.

Auf manchen Seiten geht es aber ohne JS nicht, weshalb dann ein nachfolgendes Rendering des HTML notwendig wird.

staticweb hat geschrieben: ↑04.12.2019, 14:15 Auf manchen Seiten geht es aber ohne JS nicht, weshalb dann ein nachfolgendes Rendering des HTML notwendig wird.

Ohne Dich anfeinden zu wollen, aber Du hast Dich immer noch nicht ausreichend mit der Materie beschäftigt, sodass es schlichtweg immer noch Quatsch ist, was Du da erzählst. Hier muss nix und vor allem nicht nachfolgend gerendert werden. Es geht um die nackten Rohdaten, die genauso geparsed werden, wie wenn Du eine Seite im Browser aufrufst, nur eben ohne Quellcode. Wenn ich zwischewndurch mal Zeit habe, zeig ich Dir das mal an Hand des Abakus Forums.

>> Hey Du Profi.... Seit wann können Bots Javascript oder Session Cookies?

> Ohne Dich anfeinden zu wollen, aber Du hast Dich immer noch nicht ausreichend mit der Materie beschäftigt, sodass es schlichtweg immer noch Quatsch ist, was Du da erzählst.

Mit dem Ego funktioniert es ja schon. Fachlich leider noch nicht.

> Wenn ich zwischewndurch mal Zeit habe, zeig ich Dir das mal an Hand des Abakus Forums.

Das wäre ja das gleiche, wenn ich dir erkläre wie LiteSpeed funktioniert.

Und dann nimm bitte ein Beispiel, welches nur mit aktiviertem JS Inhalte ausliefert. Und keine 0815 Seite.

Du und LiteSpeed? Never!

Sag mir eine Webseite, mir egal welche.

> Sag mir eine Webseite, mir egal welche.

Du musst mir nichts beweisen und ich werde dir bestimmt keinen "Auftrag" geben Daten abzuziehen. Das war deine Idee.

Such dir einfach ein Beispiel mit react, vue oder angular, welches kein SSR nutzt, wenn dir das so wichtig ist.

Is mir Schnurz, ob und welches Framework verwendet wird. Solange sich die Seite mit dem Browser bedienen lässt, gibts keine Probleme. Ich will mich Dir aber nicht aufdrängen, sondern Dir lediglich helfen Dein Wissensdefizit endlich zu schließen bevor Du noch länger Quatsch erzählst. Das tut schön langsam weh.....

>> Hey Du Profi.... Seit wann können Bots Javascript oder Session Cookies?

> Das tut schön langsam weh.....

Genau deshalb beende ich das auch an dieser Stelle.

staticweb hat geschrieben: ↑05.12.2019, 08:04 Genau deshalb beende ich das auch an dieser Stelle.

Na umso besser!