Bot holt nur robots.txt und ist weg
Verfasst: 07.12.2007, 07:28
In den Logs sehe ich das google mich mehrmals täglich besucht...
holt aber nur die robots.txt und guckt sich keine anderen seiten an.. jedenfalls seh ich nichts weiter in den Log files..
ist das normal? oder verträgt der bot die robots.txt nicht?
Ich blocke andere Bots, google wird in der datei aber gar nicht erwähnt.
oder muss ich google nochmal extra ansprechen und dem bot sagen, dass ich nicht dagegen habe wenn er kommt?
holt aber nur die robots.txt und guckt sich keine anderen seiten an.. jedenfalls seh ich nichts weiter in den Log files..
ist das normal? oder verträgt der bot die robots.txt nicht?
Ich blocke andere Bots, google wird in der datei aber gar nicht erwähnt.
oder muss ich google nochmal extra ansprechen und dem bot sagen, dass ich nicht dagegen habe wenn er kommt?
