Seite 1 von 2
Webseite selber spidern
Verfasst: 02.08.2004, 17:48
von heiko228
Hallo alle zusammen,
gibt es ein Tool mit dem man seine eigenen Seite spidern kann?
Ich meine auch genau so wie die ganzen Bots und Co.
Grüsse
Heiko
Verfasst: 02.08.2004, 17:49
von innuendo
zB Verity K2
https://www.verity.com/products/k2_enterprise/
Nicht billig (außer du bist sowieso auf Coldfusion v. MM) - aber dafür genau das richtige!
Innuendo
Verfasst: 02.08.2004, 17:56
von heiko228
Neee...sowas nicht.
Einfach ein schönes effektives Tool das meine Seite spidert und mir vielleicht ein Bericht bringt ob auch wirklich alle Seiten und Links verfolgt werden.
Verfasst: 02.08.2004, 17:58
von mark
um nur zu sehen wie die Linkstruktur aussieht gehts auch mit XENU (kostenlos)
https://home.snafu.de/tilman/xenulink.html
Oder die eigene Suchmaschine mit FDSE
https://www.xav.com/scripts/search/
Freeware, Perl.
gruss mark
Verfasst: 02.08.2004, 18:03
von heiko228
Hi Mark,
also das XENU krabbelt sich überall durch. Duurch jede Ebene. Macht das eigentlich auch Google oder was nimmt der von der Webseite?
Verfasst: 02.08.2004, 18:05
von Fruetel
Klar, bei ausreichendem Pagerank wühlt sich der Googlebot durch die komplette Site.
Verfasst: 02.08.2004, 18:28
von heiko228
Verfasst: 02.08.2004, 18:43
von ErwinRommel
heiko:
Hast du ne Sitemap? Wenn ja, okay.
Wenn nein, dann geh mal auf
www.site-check.cc und laß mal deine Seite dort checken, da wird dir dann auch gratis ne Sitemap erstellt, die du dann bei dir einbauen kannst.
Hast du ne Sitemap eingabut und mit deiner Startseite verlinkt, dann ist es fast sicher, daß die Spider auch alle deine Unterseiten besuchen.
Verfasst: 02.08.2004, 18:49
von heiko228
Hi ErwinRommel,
wie muss ich den die Sitemap einbinden oder verlinken mit der Startseite?
Grüsse
Heiko
Verfasst: 02.08.2004, 18:54
von ErwinRommel
Na ganz normal wie ne andere Unterseite:
<a href="
https://www.meinedomain.de/sitemap.html" target="_top" title="Sitemap">Sitemap</a>
Verfasst: 02.08.2004, 18:59
von heiko228
Stimmt ...ich Dummerchen

Verfasst: 02.08.2004, 19:14
von heiko228
Also wenn ich das richtig sehe, dann nimmt webeye nur die startseite vom Forum.
Rest wäre ok. Aber ich hätte auch gern mein Forum indexieren lassen.
Verfasst: 02.08.2004, 19:21
von ErwinRommel
Frag mal chio hier im Forum, is dessen Projekt.
Verfasst: 02.08.2004, 19:42
von heiko228
Habs schon raus bekommen. Es werden nur eine bestimmte Anzahl von Seiten geladen. Beim Forum war Schluss. Ich habe dann mal die große Variante versucht und bin auf zuviele Dupletten gestossen. Abgebrochen das ganze.
Wie muss ich das den verstehen? Wenn ich das selber programmiert hätte wäre mir das klar aber weder Shop noch Forum habe ich programmiert.
Ist das schlimm?
Verfasst: 02.08.2004, 21:06
von chio
Servas Allerseits!
Servus Heiko!
Bei deinen Seiten ist (war?) es so, dass verschiedene Links auf gleiche Seiten zeigen. Mein Tool weiß aber nicht, was da los ist, könnte sonstwas sein (404er, Login, gibt es viel)
Deswegen gibt es eine Beschränkung, damit der Speicher nicht überquillt, wenn sowas passiert, deswegen bricht es ab.
Mein Tool hat generell Probleme mit dynamischen Seiten, wenn so lala irgendwie gebastelt worden ist. Das heißt nicht zwangsläufig, dass Google die Seiten nicht mag, aber es ist ein Indiz.
lgcm