Seite 1 von 2

Webseite selber spidern

Verfasst: 02.08.2004, 17:48
von heiko228
Hallo alle zusammen,

gibt es ein Tool mit dem man seine eigenen Seite spidern kann?
Ich meine auch genau so wie die ganzen Bots und Co.

Grüsse
Heiko

Verfasst:
von

Verfasst: 02.08.2004, 17:49
von innuendo
zB Verity K2

https://www.verity.com/products/k2_enterprise/

Nicht billig (außer du bist sowieso auf Coldfusion v. MM) - aber dafür genau das richtige!


Innuendo

Verfasst: 02.08.2004, 17:56
von heiko228
Neee...sowas nicht.
Einfach ein schönes effektives Tool das meine Seite spidert und mir vielleicht ein Bericht bringt ob auch wirklich alle Seiten und Links verfolgt werden.

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 02.08.2004, 17:58
von mark
um nur zu sehen wie die Linkstruktur aussieht gehts auch mit XENU (kostenlos)
https://home.snafu.de/tilman/xenulink.html
Oder die eigene Suchmaschine mit FDSE https://www.xav.com/scripts/search/
Freeware, Perl.


gruss mark

Verfasst: 02.08.2004, 18:03
von heiko228
Hi Mark,

also das XENU krabbelt sich überall durch. Duurch jede Ebene. Macht das eigentlich auch Google oder was nimmt der von der Webseite?

Verfasst: 02.08.2004, 18:05
von Fruetel
Klar, bei ausreichendem Pagerank wühlt sich der Googlebot durch die komplette Site.

Verfasst: 02.08.2004, 18:28
von heiko228
PR ist leider bei mir 0 :cry: :cry: :oops: :cry:

Verfasst: 02.08.2004, 18:43
von ErwinRommel
heiko:

Hast du ne Sitemap? Wenn ja, okay.
Wenn nein, dann geh mal auf www.site-check.cc und laß mal deine Seite dort checken, da wird dir dann auch gratis ne Sitemap erstellt, die du dann bei dir einbauen kannst.

Hast du ne Sitemap eingabut und mit deiner Startseite verlinkt, dann ist es fast sicher, daß die Spider auch alle deine Unterseiten besuchen.

Verfasst: 02.08.2004, 18:49
von heiko228
Hi ErwinRommel,

wie muss ich den die Sitemap einbinden oder verlinken mit der Startseite?

Grüsse
Heiko

Verfasst: 02.08.2004, 18:54
von ErwinRommel
Na ganz normal wie ne andere Unterseite:

<a href="https://www.meinedomain.de/sitemap.html" target="_top" title="Sitemap">Sitemap</a>

Verfasst: 02.08.2004, 18:59
von heiko228
Stimmt ...ich Dummerchen :roll:

Verfasst: 02.08.2004, 19:14
von heiko228
Also wenn ich das richtig sehe, dann nimmt webeye nur die startseite vom Forum.
Rest wäre ok. Aber ich hätte auch gern mein Forum indexieren lassen.

Verfasst: 02.08.2004, 19:21
von ErwinRommel
Frag mal chio hier im Forum, is dessen Projekt.

Verfasst: 02.08.2004, 19:42
von heiko228
Habs schon raus bekommen. Es werden nur eine bestimmte Anzahl von Seiten geladen. Beim Forum war Schluss. Ich habe dann mal die große Variante versucht und bin auf zuviele Dupletten gestossen. Abgebrochen das ganze.

Wie muss ich das den verstehen? Wenn ich das selber programmiert hätte wäre mir das klar aber weder Shop noch Forum habe ich programmiert.

Ist das schlimm?

Verfasst: 02.08.2004, 21:06
von chio
Servas Allerseits!
Servus Heiko!
Bei deinen Seiten ist (war?) es so, dass verschiedene Links auf gleiche Seiten zeigen. Mein Tool weiß aber nicht, was da los ist, könnte sonstwas sein (404er, Login, gibt es viel)
Deswegen gibt es eine Beschränkung, damit der Speicher nicht überquillt, wenn sowas passiert, deswegen bricht es ab.
Mein Tool hat generell Probleme mit dynamischen Seiten, wenn so lala irgendwie gebastelt worden ist. Das heißt nicht zwangsläufig, dass Google die Seiten nicht mag, aber es ist ein Indiz.
lgcm