Bot holt nur robots.txt und ist weg

[Lunatic]

In den Logs sehe ich das google mich mehrmals täglich besucht...
holt aber nur die robots.txt und guckt sich keine anderen seiten an.. jedenfalls seh ich nichts weiter in den Log files..

ist das normal? oder verträgt der bot die robots.txt nicht?
Ich blocke andere Bots, google wird in der datei aber gar nicht erwähnt.

oder muss ich google nochmal extra ansprechen und dem bot sagen, dass ich nicht dagegen habe wenn er kommt?

[Lunatic]

okay keine panik,...
das rätsel ist gelöst...
auf demsever liegt nochne domain... an die ich nicht gedacht hatte.. die war in den logs gemeint.. aber das sieht man ja nicht, wenn nicht eine bestimmte page gespidert wird.
jeden fallshat der mein server einen 304 zurück gegeben.. da ist der bot dann wieder abgezischt...