yahoo mag xenu nicht?

Beitrag von **manute** » 17.06.2004, 22:44

hat schon mal jemand versucht, yahoo-seiten mit xenu zu crawlen? kann das sein, dass die den anhand des useragents aussperren?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **bugscout** » 18.06.2004, 19:04

moin manute,

wenn du www.yahoo.de nimmst, gibt es einen link zu https://de.yahoo.com/

und schluss ist. logischerweise

spider mal https://de.yahoo.com/

grüsse

Beitrag von **manute** » 20.06.2004, 14:59

daran liegt's nicht, habe auch schon mit diversen unterseiten probiert. das problem ist vermutlich, dass alle yahoo-internen links immer weiterleiten. aber man kann ja "treat redirections as errors" abschalten bei xenu, daran sollte es also eigentlich nicht liegen...