|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 09:07 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Hallo zusammen!
Ich will erreichen, das jede Seite einer dynamischen Webpräsenz mit vieeeeeelen Seiten einmal angezeigt wird.
Gibt es ein Tool, dass ich auf meine Seite ansetzen kann?
Wie gesagt, ich will erreichen, das in möglichst kurzer Zeit JEDE Seite meiner Präsenz 1x angezeigt wird.
Ideen?
Chris |
|
| Nach oben |
|
 |
Metaman
: 17.04.2004
: 554
: Wittenburg (Mecklenburg)
|
| : 13.05.2005, 09:58 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
wie oder wo sollen Die Seiten denn gezeigt werden??
willst du dem User der die Startseite aufruft, in einer Art Vorschau alle Seiten zeigen?
Da bleibe eigentlich nur die möglichkeit, die Seite in einem Frame oder ähnlichen anzuzeigen und dann mit einer weiterleitung sofort auf die nächste Seite zu springen.
oder aber du machst einen Screenshot jeder Seite und erstellst sozusagen einen Film..
PR 4 Backlink für DICH von der
-- Verrückten Linkliste -- |
|
| Nach oben |
|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 11:43 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Nee!
Auf den Seiten ist ein PHP-Script includiert und ich möchte, dass jede Seite einmal aufgerufen wird und somit das Script (für die jeweilige Seite) ausgeführt wird.
Es soll praktisch simuliert werden, dass jemand ALLE Seiten meiner Präsenz absurft.
Jemand ne Idee? |
|
| Nach oben |
|
|
Bimbel
: 13.03.2005
: 93
: Griesheim
|
| : 13.05.2005, 11:46 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Nimm doch einfach wget und lade dir einmal die Seite rekursiv runter.
Meine Homepage |
|
| Nach oben |
|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 11:52 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
@Bimbel
Danke schonmal für die Antwort. Leider fehlt mir das Fachwissen um eine Seite einfach einmal mit wget rekursiv runterzuladen.
Kannst Du mit das genauer erläutern?
Chris |
|
| Nach oben |
|
|
Bimbel
: 13.03.2005
: 93
: Griesheim
|
| : 13.05.2005, 12:16 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Du besorgst dir die für dein Betriebssystem passende Version von wget und kannst es dann wie folgt herunterladen:
wget -r -l0 http://www.domain.de
Gegebenenfalls noch mit den entsprechenden Parametern (wget --help hilft  ) auf einzelne Dateitypen einschränken.
Meine Homepage |
|
| Nach oben |
|
|
AnjaK
: 11.10.2004
: 2616
: Riddermark
|
| : 13.05.2005, 12:31 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
warum machst du nicht einfach ein Trace über deine ganze Seite.
Es ist eigentlich recht einfach einen Spider für die eigene Seite zu programmieren:
a) Rufe Startseite auf und folge ALLEN internen Links
b) speichere die gefunden URLs in einer Keksvariable
c) verfolge auf jeder gefunden Seite jede URL, die noch nicht gefunden wurde.
fertig.
Im Prinzip ein 5-Zeiler in PHP:
Penisneid hat einen Namen: WebLiga | Los! Artikel schreiben! | Onlineshop hier anmelden! | Staatl. geprüfte Boardbösewichtin | Keine PNs bitte, bitte nur email. |
|
| Nach oben |
|
|
Metaman
: 17.04.2004
: 554
: Wittenburg (Mecklenburg)
|
|
| Nach oben |
|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 12:39 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Ja ungefähr,
nur hab ich keine Lust mir mehrere GigaByte an Daten auf den Desktop zu laden.
Gibts sowas nicht online? |
|
| Nach oben |
|
|
Bimbel
: 13.03.2005
: 93
: Griesheim
|
| : 13.05.2005, 12:49 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Mehrere Gigabyte an Daten? Dann brauchst du aber schon eine extrem umfangreiche Seite, Bilder etc. kannst du ja aussen vorlassen..
Meine Homepage |
|
| Nach oben |
|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 12:53 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Ja -> die Seite ist seeeeeeeehr Umfangreich das dynamisch aus Datenbank generiert.
Ja -> Bilder kann ich uassen vor lassen
Nein -> Will mir das Teil nicht runterladen
Will nur erreichen, dass jede Seite einmal aufgerufen wird.
 |
|
| Nach oben |
|
|
AnjaK
: 11.10.2004
: 2616
: Riddermark
|
| : 13.05.2005, 12:57 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Also wenn das Teil aus der Datenbank generiert ist, dann versteh ich dein Problem nicht. Dann hast du doch jede URL in der Datenbank.
Eine kombinierte SQL-Anweisung und diese URLs aufrufen...
Penisneid hat einen Namen: WebLiga | Los! Artikel schreiben! | Onlineshop hier anmelden! | Staatl. geprüfte Boardbösewichtin | Keine PNs bitte, bitte nur email. |
|
| Nach oben |
|
|
Metaman
: 17.04.2004
: 554
: Wittenburg (Mecklenburg)
|
| : 13.05.2005, 13:06 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
es wäre vielleicht auch hilfreich wenn du uns den Sinn der ganzen Aktion mitteilst.
denn für mich und sich auch für andere höhrt es sich doch etwas sinnlos an, wenn man alle Seiten einer Homepage einmal aufrufen lassen will???
eventuell könnte da ein kleines Javascript weiterhelfen.
erstell einfach eine Seite mit folgenden Script
| Code: |
<script language="JavaScript">
<!--
var url = new Array("URL1", "URL2","URL3");
var zeit = new Array(2000,2000,2000);
var u = 0;
var z = 0;
function oeffnen()
{
kleinesfenster = open("blau.htm", "neuesfenster", "width=300,height=300");
setTimeout('steuern()', 2000);
}
function steuern()
{
kleinesfenster.location.href = url[u];
u += 1;
setTimeout('steuern()', zeit[z]);
z += 1;
if ((z == zeit.length) || (u == url.length)) { z = 0; u = 0; }
}
//-->
</script>
|
das ganze wird dann mit dem Body Tag aufgerufen
| Code: |
| <body onload="oeffnen()"> |
must jetzt nur noch die urls eintragen und die entsprechenden Zeiten.
PR 4 Backlink für DICH von der
-- Verrückten Linkliste -- |
|
| Nach oben |
|
|
Christian Reder
: 23.10.2004
: 73
|
| : 13.05.2005, 15:02 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
der Sinn?
Also die Seiten werden nicht nur aus der Datenbank generiert, sondern es werden dort auch Daten via Webservices integriert. Per PHP schreibe ich dann diese via Webservices empfangenen Daten in die Datenbank. Da ich nicht jeden Datensatz der Webservices (ca. 1.000.000 Datensätze!) händisch abrufen möchte, sondern automatisch in Abhängigkeit vom jeweiligen Seiteninhalt muss eben jede Seite 1x aufgerufen werden um die Daten via Webservice zu empfangen und dann in die DB zu schreiben.
ich weiß nicht, wie ichs anders erklären soll????
Danke trotzdem |
|
| Nach oben |
|
|
Lutz-Development
: 31.05.2004
: 534
|
| : 13.05.2005, 15:48 : Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie? |
|
|
Hi,
warte doch einfach, bis ein Besucher die Arbeit für dich erledigt. Warum schon im Voraus die Arbeit machen?
Gruß,
Thomas
wir waten durch ein meer von blut, gib uns dafür kraft und mut. in nomine patris et filii et spiritus sancti! |
|
| Nach oben |
|
|
![[B] Wege um mit Panda und Pinguin fertig zu werden!](/foren/templates/DesertStorm/images/folder_lock.gif)