ABAKUS

Verfasst: **17.06.2004, 22:44**

hat schon mal jemand versucht, yahoo-seiten mit xenu zu crawlen? kann das sein, dass die den anhand des useragents aussperren?

Verfasst: **18.06.2004, 19:04**

moin manute,

wenn du www.yahoo.de nimmst, gibt es einen link zu https://de.yahoo.com/

und schluss ist. logischerweise

spider mal https://de.yahoo.com/

grüsse

Verfasst: **20.06.2004, 14:59**

daran liegt's nicht, habe auch schon mit diversen unterseiten probiert. das problem ist vermutlich, dass alle yahoo-internen links immer weiterleiten. aber man kann ja "treat redirections as errors" abschalten bei xenu, daran sollte es also eigentlich nicht liegen...

ABAKUS

yahoo mag xenu nicht?

yahoo mag xenu nicht?