Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie?

[Christian Reder]

Hi,

warte doch einfach, bis ein Besucher die Arbeit für dich erledigt. Warum schon im Voraus die Arbeit machen?

Gruß,
Thomas

...weil ich nicht 2 Jahre warten möchte, bis jede Seite einam besucht wurde und ich die dann jeweils gespeicherten Daten noch woanders verwenden möchte.

[Metaman]

...sondern es werden dort auch Daten via Webservices...
.

also anders gesagt es werden begriffe aus der Datenbank aufgerufen die dann widerrum irgentwelche Seiten aufrufen und inhalte saugen um dann damit die eigene datenbank zu füllen...

[Christian Reder]

jetzt mal langsam bitte! Es werden keine Inhalte von irgendwelchen Webseiten gesaugt, sondern lediglich auf einen legal-erhältlichen XML-Feed zugegriffen und dessen Ergebnisdaten in meiner Datenbank zwischengespeichert um das nächste mal schneller zur Verfügung zu stehen (Caching!). Das ist so mit dem Anbieter des Feeds abgesprochen!

also@ Metaman

Bitte mal langsam mit irgendwelchen haltlosen und noch dazu FALSCHEN Unterstellungen!

[Metaman]

sorry war nicht ganz so böse gemeint wie es vielleicht rüberkam...

aber wenn nur ein xml feed gespeichert werden soll, dann versteh ich deine Frage noch weniger???
oder hast du wirklich so viele Seiten die jeweils einen anderen feed aufrufen??
ansonsten wenn du nicht warten willst bis ein user das macht, dann überlass Aufgabe doch den Spidern selber, denn im Grunde agieren die doch genau wie ein User auf den Seiten ?

[pit]

Hallo Christian

>Gibt es ein Tool

mir fällt als fertiges Tool noch Xenu ein, ziemlich simpel zu bedienen, such' einfach mal bei Google.

Pit


@christian reder

[axelm]

Evtl. hilft dir ja ein Link Checker wie Xenu, einfach URL eingeben. Ist halt wie wget:
https://www.usability-now.com/tools/link-checker/