Webseite selber spidern

Beitrag von **heiko228** » 02.08.2004, 17:48

Hallo alle zusammen,

gibt es ein Tool mit dem man seine eigenen Seite spidern kann?
Ich meine auch genau so wie die ganzen Bots und Co.

Grüsse
Heiko

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **innuendo** » 02.08.2004, 17:49

zB Verity K2

https://www.verity.com/products/k2_enterprise/

Nicht billig (außer du bist sowieso auf Coldfusion v. MM) - aber dafür genau das richtige!

Innuendo

Beitrag von **heiko228** » 02.08.2004, 17:56

Neee...sowas nicht.
Einfach ein schönes effektives Tool das meine Seite spidert und mir vielleicht ein Bericht bringt ob auch wirklich alle Seiten und Links verfolgt werden.

von **Anzeige von ABAKUS** »

Beitrag von **mark** » 02.08.2004, 17:58

um nur zu sehen wie die Linkstruktur aussieht gehts auch mit XENU (kostenlos)
https://home.snafu.de/tilman/xenulink.html
Oder die eigene Suchmaschine mit FDSE https://www.xav.com/scripts/search/
Freeware, Perl.

gruss mark

Beitrag von **heiko228** » 02.08.2004, 18:03

Hi Mark,

also das XENU krabbelt sich überall durch. Duurch jede Ebene. Macht das eigentlich auch Google oder was nimmt der von der Webseite?

Beitrag von **Fruetel** » 02.08.2004, 18:05

Klar, bei ausreichendem Pagerank wühlt sich der Googlebot durch die komplette Site.

Beitrag von **heiko228** » 02.08.2004, 18:28

PR ist leider bei mir 0

Beitrag von **ErwinRommel** » 02.08.2004, 18:43

heiko:

Hast du ne Sitemap? Wenn ja, okay.
Wenn nein, dann geh mal auf www.site-check.cc und laß mal deine Seite dort checken, da wird dir dann auch gratis ne Sitemap erstellt, die du dann bei dir einbauen kannst.

Hast du ne Sitemap eingabut und mit deiner Startseite verlinkt, dann ist es fast sicher, daß die Spider auch alle deine Unterseiten besuchen.

Beitrag von **heiko228** » 02.08.2004, 18:49

Hi ErwinRommel,

wie muss ich den die Sitemap einbinden oder verlinken mit der Startseite?

Grüsse
Heiko

Beitrag von **ErwinRommel** » 02.08.2004, 18:54

Na ganz normal wie ne andere Unterseite:

<a href="https://www.meinedomain.de/sitemap.html" target="_top" title="Sitemap">Sitemap</a>

Beitrag von **heiko228** » 02.08.2004, 18:59

Stimmt ...ich Dummerchen

Beitrag von **heiko228** » 02.08.2004, 19:14

Also wenn ich das richtig sehe, dann nimmt webeye nur die startseite vom Forum.
Rest wäre ok. Aber ich hätte auch gern mein Forum indexieren lassen.

Beitrag von **ErwinRommel** » 02.08.2004, 19:21

Frag mal chio hier im Forum, is dessen Projekt.

Beitrag von **heiko228** » 02.08.2004, 19:42

Habs schon raus bekommen. Es werden nur eine bestimmte Anzahl von Seiten geladen. Beim Forum war Schluss. Ich habe dann mal die große Variante versucht und bin auf zuviele Dupletten gestossen. Abgebrochen das ganze.

Wie muss ich das den verstehen? Wenn ich das selber programmiert hätte wäre mir das klar aber weder Shop noch Forum habe ich programmiert.

Ist das schlimm?

Beitrag von **chio** » 02.08.2004, 21:06

Servas Allerseits!
Servus Heiko!
Bei deinen Seiten ist (war?) es so, dass verschiedene Links auf gleiche Seiten zeigen. Mein Tool weiß aber nicht, was da los ist, könnte sonstwas sein (404er, Login, gibt es viel)
Deswegen gibt es eine Beschränkung, damit der Speicher nicht überquillt, wenn sowas passiert, deswegen bricht es ab.
Mein Tool hat generell Probleme mit dynamischen Seiten, wenn so lala irgendwie gebastelt worden ist. Das heißt nicht zwangsläufig, dass Google die Seiten nicht mag, aber es ist ein Indiz.
lgcm