Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Seite soll 1x komplett gecrawled bzw. gespidert werden -Wie?

Ajax, Hijax, Microformats, RDF, Markup, HTML, PHP, CSS, MySQL, htaccess, robots.txt, CGI, Java, Javascript usw.
Christian Reder
PostRank 3
PostRank 3
Beiträge: 73
Registriert: 23.10.2004, 11:19

Beitrag von Christian Reder » 13.05.2005, 14:55

Lutz-Development hat geschrieben:Hi,

warte doch einfach, bis ein Besucher die Arbeit für dich erledigt. Warum schon im Voraus die Arbeit machen?

Gruß,
Thomas
...weil ich nicht 2 Jahre warten möchte, bis jede Seite einam besucht wurde und ich die dann jeweils gespeicherten Daten noch woanders verwenden möchte.

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Metaman
PostRank 7
PostRank 7
Beiträge: 602
Registriert: 17.04.2004, 07:37
Wohnort: Wittenburg (Mecklenburg)

Beitrag von Metaman » 13.05.2005, 16:54

...sondern es werden dort auch Daten via Webservices...
.
also anders gesagt es werden begriffe aus der Datenbank aufgerufen die dann widerrum irgentwelche Seiten aufrufen und inhalte saugen um dann damit die eigene datenbank zu füllen... :evil:

Christian Reder
PostRank 3
PostRank 3
Beiträge: 73
Registriert: 23.10.2004, 11:19

Beitrag von Christian Reder » 13.05.2005, 17:09

jetzt mal langsam bitte! Es werden keine Inhalte von irgendwelchen Webseiten gesaugt, sondern lediglich auf einen legal-erhältlichen XML-Feed zugegriffen und dessen Ergebnisdaten in meiner Datenbank zwischengespeichert um das nächste mal schneller zur Verfügung zu stehen (Caching!). Das ist so mit dem Anbieter des Feeds abgesprochen!

also@ Metaman

Bitte mal langsam mit irgendwelchen haltlosen und noch dazu FALSCHEN Unterstellungen!

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Metaman
PostRank 7
PostRank 7
Beiträge: 602
Registriert: 17.04.2004, 07:37
Wohnort: Wittenburg (Mecklenburg)

Beitrag von Metaman » 14.05.2005, 00:43

sorry war nicht ganz so böse gemeint wie es vielleicht rüberkam...

aber wenn nur ein xml feed gespeichert werden soll, dann versteh ich deine Frage noch weniger???
oder hast du wirklich so viele Seiten die jeweils einen anderen feed aufrufen??
ansonsten wenn du nicht warten willst bis ein user das macht, dann überlass Aufgabe doch den Spidern selber, denn im Grunde agieren die doch genau wie ein User auf den Seiten ?

pit
PostRank 2
PostRank 2
Beiträge: 39
Registriert: 22.01.2004, 13:24

Beitrag von pit » 14.05.2005, 06:59

Hallo Christian

>Gibt es ein Tool

mir fällt als fertiges Tool noch Xenu ein, ziemlich simpel zu bedienen, such' einfach mal bei Google.

Pit


@christian reder

axelm
PostRank 7
PostRank 7
Beiträge: 603
Registriert: 18.10.2004, 11:42

Beitrag von axelm » 30.05.2005, 16:15

Evtl. hilft dir ja ein Link Checker wie Xenu, einfach URL eingeben. Ist halt wie wget:
https://www.usability-now.com/tools/link-checker/

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag