Googlebot oder Google-Mitarbeiter?

Beitrag von **SloMo** » 05.01.2007, 12:11

Ich hatte vor ein paar Tagen einen Zugriff in meiner Bottrap, der aus einem Google IP-Block stammte. Der UserAgent war ein normaler IE (völlig unauffällig). Habe mir eigentlich nicht viel dabei gedacht, aber jetzt will ich doch mal wissen, wie ihr das beurteilt.

War das ein neugieriger Google-Mitarbeiter, oder war es ein Bot, der die robots.txt missachtet und zudem inkognito unterwegs war?

Ich persönlich tippe ja auf eine manuelle Prüfung meiner Site...

von **Anzeige von ABAKUS** »

Beitrag von **baMargera** » 05.01.2007, 12:48

Oder es wurde auch durch einen Bot überprüft, ob auf der Seite Cloaking eingesetzt wird. Jedenfalls nach Useragents.

Viele Grüße

Beitrag von **SloMo** » 05.01.2007, 16:07

> ob auf der Seite Cloaking eingesetzt wird

Die URL ist gar nicht im Index. Deshalb finde ich das ja so seltsam. Obwohl man natürlich "noindex" und die robots.txt auch als Cloaking bezeichnen könnte

Beitrag von **Anonymous** » 05.01.2007, 20:26

war er mit oder ohne javascript unterwegs?

Beitrag von **SloMo** » 05.01.2007, 20:40

Gute Frage... leider geht mein Logging an der Stelle nicht so weit. Werde die Trap wohl noch bisserl ausbauen, damit zumindest der Referer geloggt wird. Ein menschlicher Besucher wird wohl kaum per Type-In in die Falle tappen.

Beitrag von **Anonymous** » 05.01.2007, 21:00

schaltest du für die site auch Adwords? Mir sagte mal jemand, dass der Bot sich ggf. an keine "Regeln" hält.... robots.txt, metarefresh, javascript weiterleitungen sind für den wohl alles kein Hindernis.... packt wohl auch mal gerne nen in einem shop alle Artikel die er so findet in den Einkaufskorb etc... oder wütet sonstwie in robots.txt gesperrten Bereichen rum....

Beitrag von **SloMo** » 06.01.2007, 07:56

Nein, habe keinen Adwords-Account. Mir ist vor einiger Zeit schon einmal ein Googlebot in die Falle gegangen, der war aber nicht inkognito. Apropos, hat vielleicht jemand (Du) PHP-Code für 'nen Reverse DNS Lookup parat? Damit kann man ja die Googler automatisch erkennen, und sich persönlich für das Auslösen der Falle bedanken.

Beitrag von **mikkido** » 06.01.2007, 12:14

@Slomo,
ich habe Dir wegen den PHP-Code eine PM geschickt!

Beitrag von **SloMo** » 11.01.2007, 10:26

Es scheint der Mediabot gewesen zu sein... keine Ahnung, warum der inkognito auf eine Seite kommt, auf der noch nie Adsense war, und die explizit per robots.txt/nofollow gesperrt ist. Kürzlich ist er auch mit richtiger UserAgent-Angabe in die Falle getrappst.

Ich würde drauf wetten, dass der neben seiner Adsensearbeit auch noch eine ganz andere Aufgabe für Google erfüllt... z.B. allgemeine Kategorisierung oder Cloaking-Check, mit Einfluss auf das Ranking einer Site.

Beitrag von **Airport1** » 16.01.2007, 12:52

der google bot verrennt sich haeufiger in solche bot-traps, aber auch handies.. d.h. niemals ohne vorherige pruefung "automatisch sperren", denn das geht sonst definitiv in die hose..

Beitrag von **SloMo** » 16.01.2007, 13:25

> der google bot verrennt sich haeufiger in solche bot-traps

Stimmt, man sollte unbedingt eine User-Agent-Whitelist benutzen, und sich im Falle eines Googlebots besser nur eine Email schicken, statt ihn automatisch zu blocken.

Wenn der Googlebot allerdings inkognito (wie in diesem Fall) in meine Bottrap tappst... da sage ich "selbst schuld und drauf geschissen", und fische ihn halt nach ein paar Tagen manuell aus der Blacklist. Letzten Endes sind da so viele Bots mit so vielen IPs unter Googles Flagge im Internet unterwegs, dass dieses eine schwarze Schaf auch erfahrunggemäß keine Rankingeinbußen oder sonstwelche Nachteile bringt. Wichtig ist vielleicht, dass der eine ordentliche Fehlermeldung (HTTP-Status) bekommt, z.B. 503.

Beitrag von **Southmedia** » 20.01.2007, 00:22

Es scheint der Mediabot gewesen zu sein... keine Ahnung, warum der inkognito auf eine Seite kommt, auf der noch nie Adsense war, und die explizit per robots.txt/nofollow gesperrt ist. Kürzlich ist er auch mit richtiger UserAgent-Angabe in die Falle getrappst.

Bestimmte Versionen von Opera zeigen Adsense-Werbung passend zu den aufgerufenen Seiten ein.

Beitrag von **SloMo** » 20.01.2007, 07:27

Dann muss man jetzt schon Opera blocken, oder was?