Webseite selber spidern

[heiko228]

Hallo alle zusammen,

gibt es ein Tool mit dem man seine eigenen Seite spidern kann?
Ich meine auch genau so wie die ganzen Bots und Co.

Grüsse
Heiko

[innuendo]

zB Verity K2

https://www.verity.com/products/k2_enterprise/

Nicht billig (außer du bist sowieso auf Coldfusion v. MM) - aber dafür genau das richtige!


Innuendo

[heiko228]

Neee...sowas nicht.
Einfach ein schönes effektives Tool das meine Seite spidert und mir vielleicht ein Bericht bringt ob auch wirklich alle Seiten und Links verfolgt werden.

[mark]

um nur zu sehen wie die Linkstruktur aussieht gehts auch mit XENU (kostenlos)
https://home.snafu.de/tilman/xenulink.html
Oder die eigene Suchmaschine mit FDSE https://www.xav.com/scripts/search/
Freeware, Perl.


gruss mark

[heiko228]

Hi Mark,

also das XENU krabbelt sich überall durch. Duurch jede Ebene. Macht das eigentlich auch Google oder was nimmt der von der Webseite?

[Fruetel]

Klar, bei ausreichendem Pagerank wühlt sich der Googlebot durch die komplette Site.

[heiko228]

PR ist leider bei mir 0

[ErwinRommel]

heiko:

Hast du ne Sitemap? Wenn ja, okay.
Wenn nein, dann geh mal auf www.site-check.cc und laß mal deine Seite dort checken, da wird dir dann auch gratis ne Sitemap erstellt, die du dann bei dir einbauen kannst.

Hast du ne Sitemap eingabut und mit deiner Startseite verlinkt, dann ist es fast sicher, daß die Spider auch alle deine Unterseiten besuchen.

[heiko228]

Hi ErwinRommel,

wie muss ich den die Sitemap einbinden oder verlinken mit der Startseite?

Grüsse
Heiko

[ErwinRommel]

Na ganz normal wie ne andere Unterseite:

<a href="https://www.meinedomain.de/sitemap.html" target="_top" title="Sitemap">Sitemap</a>

[heiko228]

Stimmt ...ich Dummerchen

[heiko228]

Also wenn ich das richtig sehe, dann nimmt webeye nur die startseite vom Forum.
Rest wäre ok. Aber ich hätte auch gern mein Forum indexieren lassen.

[ErwinRommel]

Frag mal chio hier im Forum, is dessen Projekt.

[heiko228]

Habs schon raus bekommen. Es werden nur eine bestimmte Anzahl von Seiten geladen. Beim Forum war Schluss. Ich habe dann mal die große Variante versucht und bin auf zuviele Dupletten gestossen. Abgebrochen das ganze.

Wie muss ich das den verstehen? Wenn ich das selber programmiert hätte wäre mir das klar aber weder Shop noch Forum habe ich programmiert.

Ist das schlimm?

[chio]

Servas Allerseits!
Servus Heiko!
Bei deinen Seiten ist (war?) es so, dass verschiedene Links auf gleiche Seiten zeigen. Mein Tool weiß aber nicht, was da los ist, könnte sonstwas sein (404er, Login, gibt es viel)
Deswegen gibt es eine Beschränkung, damit der Speicher nicht überquillt, wenn sowas passiert, deswegen bricht es ab.
Mein Tool hat generell Probleme mit dynamischen Seiten, wenn so lala irgendwie gebastelt worden ist. Das heißt nicht zwangsläufig, dass Google die Seiten nicht mag, aber es ist ein Indiz.
lgcm