(Fake-)Googlebot in Bottrap gefangen

[SloMo]

Gestern nacht ist mir ein "Googlebot" in die Bottrap gegangen.

address is 66.249.72.244,
agent is Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Ist das ein Fake oder nicht?

SloMo

[/bin/false]

address is 66.249.72.244,

So wie es aussieht, kein Fake
https://whois.sc/66.249.72.244

[robo]

address is 66.249.72.244,
agent is Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)

Ist das ein Fake oder nicht?

Kriegst du nicht mal 'nen DNS-Lookup selbst hin?

Code: Alles auswählen

D:\>nslookup 66.249.72.244
Server:  obelix.robo.local
Address:  192.168.72.110

Name:    crawl-66-249-72-244.googlebot.com
Address:  66.249.72.244

Der ist echt.

Auch eine Whois-Abfrage bestätigt das:

Code: Alles auswählen

D:\>whois 66.249.72.244

OrgName:    Google Inc.
OrgID:      GOGL
Address:    1600 Amphitheatre Parkway
City:       Mountain View
StateProv:  CA
PostalCode: 94043
Country:    US

NetRange:   66.249.64.0 - 66.249.95.255
CIDR:       66.249.64.0/19
NetName:    GOOGLE
NetHandle:  NET-66-249-64-0-1
Parent:     NET-66-0-0-0-0
NetType:    Direct Allocation
NameServer: NS1.GOOGLE.COM
NameServer: NS2.GOOGLE.COM
Comment:
RegDate:    2004-03-05
Updated:    2004-11-10

OrgTechHandle: ZG39-ARIN
OrgTechName:   Google Inc.
OrgTechPhone:  +1-650-318-0200
OrgTechEmail:  arin-contact@...
# ARIN WHOIS database, last updated 2006-04-05 19:10
# Enter ? for additional hints on searching ARIN's WHOIS database.

cu, Robo

[ole1210]

@ slomo:
Toll gemacht!

Und ich wunder mich, warum seit 2 Tagen kein google Bot mehr vorbei kommt.

Da sitzen die bei dir in der Falle.

Verbrecher!!

[SloMo]

Dann hat Google jetzt ein paar Bots draußen, die keine robots.txt verstehen. Meine Bottrap existiert in dieser Form seit über einem Jahr, und es ist vorher noch kein einziger Googlebot darauf hereingefallen.

[ole1210]

Ich war schon imer der meinung, das google sich nur nach Lust und Laune an die robots.txt hält.

Möglicherweise hast du das jetzt bewiesen!

[SloMo]

Na die Beweisführung hätte ich mir gerne erspart

Wie gesagt, bis jetzt haben sich immer alle dran gehalten. Seit gestern sind inzwischen zwei Mozilla-Bots in die Falle gegangen. Wundert mich nur, dass es offenbar nur bei mir so ist. Bei einem generellen Problem würden sich sicherlich mehr Leute hier melden.

[robo]

Ich meine irgendwo gelesen zu haben, dass der Googlebot eine Extrawurst braucht. Ich glaub sogar, es war hier im Forum. Da hatte auch einer einen Test dazu gemacht.

Konkret bedeutet das, dass sich der Googlebot offensichtlich nicht immer von "User-agent: *" angesprochen fühlt, wohl aber von "User-agent: googlebot".

Ich weigere mich aber trotzdem, für den Googlebot Extrawürste zu braten.

cu, Robo

[SloMo]

Meine robots.txt sieht im Prinzip so aus:

User-agent: googlebot
Disallow: /bottrap/

User-agent: *
Disallow: /

Ist also sehr restriktiv. Selbst wenn einer der beiden Einträge vom Googlebot übersehen worden wäre, hätte er auf keinen Fall in die Trap gehen dürfen. Das heißt, dass die gesamte robots.txt ignoriert wurde, obwohl sie schon längere Zeit gut funktioniert hat.

[soultcer]

--

[oldInternetUser]

Am 07.07.2006 um 21:04:00 (MESZ) hat sich bei mir von der IP 64.233.173.85 (Google) folgender User-Agent in die Bottrap verirrt: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FDM)

Was soll das?

Ein Browser muß keine robots.txt beachten. Also gibt es auch kein Problem - sondern nur Fehlalarm aufgrund einer falschen Vermutung.

[thetrasher]

soultcer:
64.233.172.0/23 = GWA (Google Web Accelerator)
(siehe WMW)


SloMo:
Vielleicht war die robots.txt für kurze Zeit nicht abrufbar? Googlebot ruft nur noch einmal am Tag die robots.txt ab. Einen Zugriff auf die robots.txt ohne kurz danach folgende Zugriffe konnte ich bereits beobachten. Wenn dein Server bei der Abfrage kurz offline war oder das Routing missglückte, konnte Google deine Verbote nicht lesen.

[soultcer]

--

[Windy]

Tja, das Google die robots.txt nicht immer beachtet hab ich nun auch festgestellt. Er wurde von meiner Floodprotection in einem per robots.txt gesperrten Bereich gefangen, als er mit 2 IPs in 30-40 Sekunden jeweils über 30 Aufrufe gemacht hat.

[thetrasher]

Windy, welche 2 IPs? User-Agent? Wurde die robots.txt tatsächlich gelesen?

In den Google-IP-Bereichen tummeln sich nicht nur Googlebots.