ABAKUS

Na der Bot hätte viel zu tun wenn er jede Seite spidert die ein User besucht. Wie ist denn der User_Agent vom Bot?

Müsste so ausschauen:
Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Überprüfe mal die IP von dem Bot wenn es geht... als Bot kann sich jeder ausgeben.

hm blöde frage es ist aber nicht der mediabot der auch auch eine ip wie der googlebot hat wenn du adsense auf der seite hast

wow das ist ja interessant. halt uns bitte auf dem laufenden oder poste doch mal die ip bitte.

ich werde dem mal auf den grund gehen und euch bescheid geben. ich habe analytics und adsense laufen. vielleicht hat es wirklich damit zu tun.

Es klingt vielleicht verrückt aber mir ist heute genau das gleiche verhalten aufgefallen. Es war der Mediabot, der mir Schritt für Schritt gefolgt ist. Ich benutzte den Firefox ohne Google Toolbar. Eigentlich habe ich es für einen Programfehler gehalten aber jetzt wo es noch jemand anderen aufgefallen ist kommt mir die Sache noch merkwürdiger vor. Ich werde morgen noch mal das Log analysieren. Dann haben wir Gewissheit. Ich frage mich nur woher der Bot wissen will, worauf ich geklickt habe.

wenn es der mediabot, ist dann macht er das glaube ich damit die adsense werbung eingeblendet werden kann, sollte aber nur kurz nach einbau von adsense sein

w3news hat geschrieben:wenn es der mediabot, ist dann macht er das glaube ich damit die adsense werbung eingeblendet werden kann, sollte aber nur kurz nach einbau von adsense sein

naja... der mediabot kommt scho regelmäßig vorbei wenn er passende Anzeigen raussuchen soll.... ist normal...

Also ich will ja nichts sagen, aber das habe ich schon seit einer Ehwigkeit. Ich gehe auf eine Seite von mir, die z.B. komplett neu ist und sehe dann in die Logfiles, was steht da drinnen? Der Google-Bot. Mir scheint der auch zu folgen, obwohl ich das gar nicht will.

Ach ja, der Bot steht dann in den Logs: "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"
IP: https://www.dnsstuff.com/tools/whois.ch ... 249.65.207

Gruß.

Ok also ich habe mir das jetzt eben nochmal genauer angesehen. Wenn ich auf meine eigene Webseite klicke verfolgt mich der Google Bot sofort auf Schritt und Tritt. Ich muss also gar nicht mehr über Google kommen, anscheindend ist auf meinem PC bereits irgendein Script aktiv. Allerdings werden Kategorien von Ihm ausgelassen. Die dürften Ihn nicht interessieren. Sobald ein User über Google reinkommt wird er vom selben Bot verfolgt. Der folgt dann eben abwechselnd mir und den anderen Usern auf meiner Webseite. Es kommt also kein neuer Crawler hinzu. User die über eine andere Suchmaschine kommen werden nicht verfolgt. Wenn es auf meiner Page ruhig ist und sich 1 Minute gar nix tut scannt er fröhlich andere Produkte durch bis wieder jemand reinkommt über Google oder die User die bereits über Google kamen oder dieses Script oder was auch immer das ist aktiv haben und auf ein anderes Produkt klicken. Wie das genau funktioniert, ich habe keinen blassen Schimmer. Hier ein paar Details für die Profis hier:

Die IP des Bots ist:
crawl-66-249-66-197.googlebot.com [66.249.66.197]

Ich verwende OScommerce und das Plugin mit welchem mir das aufgefallen ist
nennt sich Leapfrog.

Das gleiche hab ich auf meiner Seite auch.
IP ist aber 66.249.65.197 crawl-66-249-65-197.googlebot.com.
Ich dachte schon mein Counter spinnt.
Ist ja witzig.

Genau so ist es bei mir auch.

66.249.66.19
Host: crawl-66-249-66-19.googlebot.com
User Agent: Mediapartners-Google/2.1

Ich habe auch noch die Server Logs studiert und dort stehen die Zugriffe auch. Damit ist ein Programmfehler ausgeschlossen. Ich benutze auch kein oscommerce.
Wenn der Mediapartner Bot jetzt auch noch richtigen Content aufnimmt dann fliegen die Seiten ja nur noch so in den Index.
So hätte das wenigstens noch einen positiven Nutzen.

Wenn der Mediapartner Bot jetzt auch noch richtigen Content aufnimmt dann fliegen die Seiten ja nur noch so in den Index.

Oder sie fliegen raus.

So lässt sich recht gut das Nutzerverhalten auf einer Webseite analysieren.

Ist denn immer nur ein Bot aktiv? Oder haben alle User die gleichzeitig da sind diesen "Verfolger"?
Ich keinen Bock darauf, das google demnächst permanent mehrfach auf meiner Webseite vertreten ist.