hallo zusammen,
google spidert nun schon zum 2. mal dateien die in der robots.txt mit
User-agent: *
Disallow: login.php
Disallow: ....
angegeben sind.
die robots.txt und index.html werden mehrmals täglich durch verschiedene googlebots angefragt, aber keiner geht auf die erlaubten dateien und pfade tiefer.
seiten wurde vor 3 wochen kpl. geändert, msn und andere spideren in die tiefe.
ist das normal das google die robots.txt nicht respektiert?
obige datein sin in den serps zu finden.
danke für eure info
andre
Archiv
