Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie?

Beitrag von **Christian Reder** » 13.05.2005, 14:55

Lutz-Development hat geschrieben:Hi,

warte doch einfach, bis ein Besucher die Arbeit für dich erledigt. Warum schon im Voraus die Arbeit machen?

Gruß,
Thomas

...weil ich nicht 2 Jahre warten möchte, bis jede Seite einam besucht wurde und ich die dann jeweils gespeicherten Daten noch woanders verwenden möchte.

von **Anzeige von ABAKUS** »

Beitrag von **Metaman** » 13.05.2005, 16:54

...sondern es werden dort auch Daten via Webservices...
.

also anders gesagt es werden begriffe aus der Datenbank aufgerufen die dann widerrum irgentwelche Seiten aufrufen und inhalte saugen um dann damit die eigene datenbank zu füllen...

Beitrag von **Christian Reder** » 13.05.2005, 17:09

jetzt mal langsam bitte! Es werden keine Inhalte von irgendwelchen Webseiten gesaugt, sondern lediglich auf einen legal-erhältlichen XML-Feed zugegriffen und dessen Ergebnisdaten in meiner Datenbank zwischengespeichert um das nächste mal schneller zur Verfügung zu stehen (Caching!). Das ist so mit dem Anbieter des Feeds abgesprochen!

also@ Metaman

Bitte mal langsam mit irgendwelchen haltlosen und noch dazu FALSCHEN Unterstellungen!

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Metaman** » 14.05.2005, 00:43

sorry war nicht ganz so böse gemeint wie es vielleicht rüberkam...

aber wenn nur ein xml feed gespeichert werden soll, dann versteh ich deine Frage noch weniger???
oder hast du wirklich so viele Seiten die jeweils einen anderen feed aufrufen??
ansonsten wenn du nicht warten willst bis ein user das macht, dann überlass Aufgabe doch den Spidern selber, denn im Grunde agieren die doch genau wie ein User auf den Seiten ?

Beitrag von **pit** » 14.05.2005, 06:59

Hallo Christian

>Gibt es ein Tool

mir fällt als fertiges Tool noch Xenu ein, ziemlich simpel zu bedienen, such' einfach mal bei Google.

Pit

@christian reder

Beitrag von **axelm** » 30.05.2005, 16:15

Evtl. hilft dir ja ein Link Checker wie Xenu, einfach URL eingeben. Ist halt wie wget:
https://www.usability-now.com/tools/link-checker/