ABAKUS

hat schon mal jemand versucht, yahoo-seiten mit xenu zu crawlen? kann das sein, dass die den anhand des useragents aussperren?

moin manute,

wenn du www.yahoo.de nimmst, gibt es einen link zu https://de.yahoo.com/

und schluss ist. logischerweise

spider mal https://de.yahoo.com/


grüsse

daran liegt's nicht, habe auch schon mit diversen unterseiten probiert. das problem ist vermutlich, dass alle yahoo-internen links immer weiterleiten. aber man kann ja "treat redirections as errors" abschalten bei xenu, daran sollte es also eigentlich nicht liegen...