|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 15:55 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
| Lutz-Development hat Folgendes geschrieben: |
Hi,
warte doch einfach, bis ein Besucher die Arbeit für dich erledigt. Warum schon im Voraus die Arbeit machen?
Gruß,
Thomas |
...weil ich nicht 2 Jahre warten möchte, bis jede Seite einam besucht wurde und ich die dann jeweils gespeicherten Daten noch woanders verwenden möchte. |
|
| Nach oben |
|
 |
Metaman
: 17.04.2004
: 554
: Wittenburg (Mecklenburg)
|
| : 13.05.2005, 17:54 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
| : |
...sondern es werden dort auch Daten via Webservices...
. |
also anders gesagt es werden begriffe aus der Datenbank aufgerufen die dann widerrum irgentwelche Seiten aufrufen und inhalte saugen um dann damit die eigene datenbank zu füllen... 
PR 4 Backlink für DICH von der
-- Verrückten Linkliste -- |
|
| Nach oben |
|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 18:09 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
jetzt mal langsam bitte! Es werden keine Inhalte von irgendwelchen Webseiten gesaugt, sondern lediglich auf einen legal-erhältlichen XML-Feed zugegriffen und dessen Ergebnisdaten in meiner Datenbank zwischengespeichert um das nächste mal schneller zur Verfügung zu stehen (Caching!). Das ist so mit dem Anbieter des Feeds abgesprochen!
also@ Metaman
Bitte mal langsam mit irgendwelchen haltlosen und noch dazu FALSCHEN Unterstellungen! |
|
| Nach oben |
|
|
Metaman
: 17.04.2004
: 554
: Wittenburg (Mecklenburg)
|
| : 14.05.2005, 01:43 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
sorry war nicht ganz so böse gemeint wie es vielleicht rüberkam...
aber wenn nur ein xml feed gespeichert werden soll, dann versteh ich deine Frage noch weniger???
oder hast du wirklich so viele Seiten die jeweils einen anderen feed aufrufen??
ansonsten wenn du nicht warten willst bis ein user das macht, dann überlass Aufgabe doch den Spidern selber, denn im Grunde agieren die doch genau wie ein User auf den Seiten ?
PR 4 Backlink für DICH von der
-- Verrückten Linkliste -- |
|
| Nach oben |
|
|
pit
: 22.01.2004
: 39
|
| : 14.05.2005, 07:59 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Hallo Christian
>Gibt es ein Tool
mir fällt als fertiges Tool noch Xenu ein, ziemlich simpel zu bedienen, such' einfach mal bei Google.
Pit
@christian reder
http://www.ihre-vorsorge.de |
|
| Nach oben |
|
|
axelm
: 18.10.2004
: 589
: Hamburg
|
|
| Nach oben |
|
|
![[B] Wege um mit Panda und Pinguin fertig zu werden!](/foren/templates/DesertStorm/images/folder_lock.gif)