Spider...was will er denn! :)

[jimbeam]

so, nachdem ich jetzt die forenbeiträge zum thema robots gewälzt habe sind doch noch ein paar fragen offen.
ok.
1.) im logfile ist wohl zu sehen ob oder wann sie site gecrawlt wurde!
-> wo kann ich das logfiel einsehen.
2.) woran erkenne ich wie intesiv die site gecrawlt wurde?
3.)gibt es vernünftiges tool welchrs mir sagt wann, welche suchmaschine bei mir war?
4.) wann wir ein deepcrawl gemacht?

[derHund]

wo kann ich das logfiel einsehen.

bei der frage nehme ich an, daß du einen shared server etc. hast. dein hoster bietet dir dann eventuell die möglichkeit, aufs log zuzugreifen.

woran erkenne ich wie intesiv die site gecrawlt wurde?

je mehr seiten gecrawlt wurden, desto ... mehr seiten wurden gecrawlt? verstehe die frage nicht wirklich ...

gibt es vernünftiges tool welchrs mir sagt wann, welche suchmaschine bei mir war?

gibt es sicher, empfehlen kann ich dir keines ...

wann wir ein deepcrawl gemacht?

das wird dir niemand wirklich sagen können ... wenn du ordentlich verlinkt bist, geht das je nach umfang recht schnell ...