Wie ist das möglich?

[Mamboo]

Eine meine Seiten ist noch nicht Online. Ich bin mit den Funktionen fast fertig und teste die Seite zurzeit ausgiebig. Es fehlt nur noch das Design. Vorgestern habe ich ein neues Tool für die Crawler und Spider in meinem Web-System integriert. Heute früh dann die Überraschung. Googlebot hat um die 80 Seiten gecrawelt, obwohl kein Link von außen hineingeht. Slurp und Co indexieren nur Homepage (index) dann ist es Feierabend. Wie macht es Google bloss?

Code: Alles auswählen

Benutzeragent oder IP 	Benutzer
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 	
GoogleBot 	  IP=66.249.72.83       Seiten=80

[web_worker]

nutzt du die google-toolbar? ...und warst damit auf deiner domain unterwegs?

gruß,
w_w

[Mamboo]

Ich nutze toolbar, aber auf die Seiten, was google gestern gecrawelt hat, war ich zuletzt vor eine Woche. Ich befürchte, das G.Analytics damit was zu tun hat, aber ich habe mit deny IP vom G.Analytic ausgesperren lassen... Andere IP Sperren funktionieren warum sollte das vom G nicht funken. Ich weiss es nicht. Bin mit meinem latein am Ende.

Schaut euch mal die Zeitabstände an. Es ist nicht vorbei... G crawelt immernoch. Das sind die letzten Seiten, was Google unter die Lupe genommen hat. Wir haben jetzt 19:06 Uhr.

Code: Alles auswählen

  /media/service/glossary/typo3-cm
  s.xhtml   	1 	19 hr 02 mn
  /media/service/glossary/spoofing
  .xhtml   	1 	18 hr 59 mn
  /media/service/glossary/kommenta
  r.xhtml   	1 	18 hr 51 mn

[Andy.C]

aber ich habe mit deny IP vom G.Analytic ausgesperren lassen.

Jo hi, sorry wenn ich mich kurz dazwischen schalte.
Wie haste denn das gemacht? Ich mein, ich bekomme jedes mal eine neue IP, wie also soll Google-Analytics da checken dass ich es bin, der da gerade nicht erkannt werden soll?
Also wenn das Möglich ist, würde ich das auch gerne einstellen, sachste mir eben wie das geht?

Grüße

[Mamboo]

@Andy.C
Du kannst dich selber in einem erweiterten Option unter G.A. ausschliessen lassen. Suche nach Filtermanager...