Google Bot folgt meinen Schritten

[Bonanza]

Hallo! Ich hab mal eine Frage an die Spezialisten hier:

Ich hab mir so ein visuelles Tool für osCommerce installiert um zu sehen, wohin sich User innerhalb meiner Webseite herumklicken. Nun hab ich mal meine Webseite über Google mit einem Suchbegriff gesucht und bin dann auf meine Webseite und klicke mich so durch ein paar Seiten durch und sehe in diesem Tool das Google mir gefolgt ist mit einem Bot und exakte die Pages auf meiner Page aufruft die ich selbst auch angeklickt habe. Der Wechsel vom Google Bot geht zirka 3-5 Sekunden nachdem ich wo geklickt habe.

Nun meine Frage, wie genau funktioniert das? Ist hier ein Script Aktiv welches von der Google Suchpage installiert wurde und immer noch aktiv ist obwohl ich mich schon gar nicht mehr auf einer Google Seite befinde?

Auf diese Art und Weise ist mir natürlich klar das Google sehr schnell herausfindet welche Pages auf einer Webseite relevant sind und welche nicht ...

[Jeuners]

War es der Bot oder nur sein Schatten? Wenn es der Schatten war dann schalte mal die Toolbar aus

[Bonanza]

@Jeuners

Mit der Toolbar hat es nichts zu tun weil der Bot nur mitkommt wenn ich über Google auf meine Page klicke. Wenn ich direkt auf meine Page gehe oder von einer anderen Seite komme folgt mir kein Google Bot.

Vielleicht sollte ich mir mal neue Medis holen. Könnte auch an meiner ständigen Paranoia liegen.

[Jeuners]

Na der Bot hätte viel zu tun wenn er jede Seite spidert die ein User besucht. Wie ist denn der User_Agent vom Bot?

Müsste so ausschauen:
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Überprüfe mal die IP von dem Bot wenn es geht... als Bot kann sich jeder ausgeben.

[linux]

hm blöde frage es ist aber nicht der mediabot der auch auch eine ip wie der googlebot hat wenn du adsense auf der seite hast

[SeoBlogger.de]

wow das ist ja interessant. halt uns bitte auf dem laufenden oder poste doch mal die ip bitte.

[Bonanza]

ich werde dem mal auf den grund gehen und euch bescheid geben. ich habe analytics und adsense laufen. vielleicht hat es wirklich damit zu tun.

[Unifex]

Es klingt vielleicht verrückt aber mir ist heute genau das gleiche verhalten aufgefallen. Es war der Mediabot, der mir Schritt für Schritt gefolgt ist. Ich benutzte den Firefox ohne Google Toolbar. Eigentlich habe ich es für einen Programfehler gehalten aber jetzt wo es noch jemand anderen aufgefallen ist kommt mir die Sache noch merkwürdiger vor. Ich werde morgen noch mal das Log analysieren. Dann haben wir Gewissheit. Ich frage mich nur woher der Bot wissen will, worauf ich geklickt habe.

[w3news]

wenn es der mediabot, ist dann macht er das glaube ich damit die adsense werbung eingeblendet werden kann, sollte aber nur kurz nach einbau von adsense sein

[Anonymous]

wenn es der mediabot, ist dann macht er das glaube ich damit die adsense werbung eingeblendet werden kann, sollte aber nur kurz nach einbau von adsense sein

naja... der mediabot kommt scho regelmäßig vorbei wenn er passende Anzeigen raussuchen soll.... ist normal...

[To-Bi-As]

Also ich will ja nichts sagen, aber das habe ich schon seit einer Ehwigkeit. Ich gehe auf eine Seite von mir, die z.B. komplett neu ist und sehe dann in die Logfiles, was steht da drinnen? Der Google-Bot. Mir scheint der auch zu folgen, obwohl ich das gar nicht will.

Ach ja, der Bot steht dann in den Logs: "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
IP: https://www.dnsstuff.com/tools/whois.ch ... 249.65.207

Gruß.

[Bonanza]

Ok also ich habe mir das jetzt eben nochmal genauer angesehen. Wenn ich auf meine eigene Webseite klicke verfolgt mich der Google Bot sofort auf Schritt und Tritt. Ich muss also gar nicht mehr über Google kommen, anscheindend ist auf meinem PC bereits irgendein Script aktiv. Allerdings werden Kategorien von Ihm ausgelassen. Die dürften Ihn nicht interessieren. Sobald ein User über Google reinkommt wird er vom selben Bot verfolgt. Der folgt dann eben abwechselnd mir und den anderen Usern auf meiner Webseite. Es kommt also kein neuer Crawler hinzu. User die über eine andere Suchmaschine kommen werden nicht verfolgt. Wenn es auf meiner Page ruhig ist und sich 1 Minute gar nix tut scannt er fröhlich andere Produkte durch bis wieder jemand reinkommt über Google oder die User die bereits über Google kamen oder dieses Script oder was auch immer das ist aktiv haben und auf ein anderes Produkt klicken. Wie das genau funktioniert, ich habe keinen blassen Schimmer. Hier ein paar Details für die Profis hier:

Die IP des Bots ist:
crawl-66-249-66-197.googlebot.com [66.249.66.197]

Ich verwende OScommerce und das Plugin mit welchem mir das aufgefallen ist
nennt sich Leapfrog.

[dp-wurzel]

Das gleiche hab ich auf meiner Seite auch.
IP ist aber 66.249.65.197 crawl-66-249-65-197.googlebot.com.
Ich dachte schon mein Counter spinnt.
Ist ja witzig.

[Unifex]

Genau so ist es bei mir auch.

66.249.66.19
Host: crawl-66-249-66-19.googlebot.com
User Agent: Mediapartners-Google/2.1

Ich habe auch noch die Server Logs studiert und dort stehen die Zugriffe auch. Damit ist ein Programmfehler ausgeschlossen. Ich benutze auch kein oscommerce.
Wenn der Mediapartner Bot jetzt auch noch richtigen Content aufnimmt dann fliegen die Seiten ja nur noch so in den Index.
So hätte das wenigstens noch einen positiven Nutzen.

[ole1210]

Wenn der Mediapartner Bot jetzt auch noch richtigen Content aufnimmt dann fliegen die Seiten ja nur noch so in den Index.

Oder sie fliegen raus.

So lässt sich recht gut das Nutzerverhalten auf einer Webseite analysieren.

Ist denn immer nur ein Bot aktiv? Oder haben alle User die gleichzeitig da sind diesen "Verfolger"?
Ich keinen Bock darauf, das google demnächst permanent mehrfach auf meiner Webseite vertreten ist.