meine erste frage ist, wie lange wird eine seite die gespidert wird und ein 404 zurück kommt gespeicher?
meine zweite frage, wie ist es mit nem deep craw, wenn ich eien subdir habe, welche aber keine index.xxx enthält, aber dafür unterseiten ist das schlimm?
versucht der spider trotzem ne index zu finden ?
besten dank mfg tobias
Archiv
