Seite 1 von 1
(Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 06:51
von SloMo
Gestern nacht ist mir ein "Googlebot" in die Bottrap gegangen.
address is 66.249.72.244,
agent is Mozilla/5.0 (compatible; Googlebot/2.1; +
https://www.google.com/bot.html)
Ist das ein Fake oder nicht?
SloMo
Re: (Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 08:24
von /bin/false
SloMo hat geschrieben:address is 66.249.72.244,
So wie es aussieht, kein Fake
https://whois.sc/66.249.72.244
Re: (Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 10:12
von robo
SloMo hat geschrieben:address is 66.249.72.244,
agent is Mozilla/5.0 (compatible; Googlebot/2.1; +
https://www.google.com/bot.html)
Ist das ein Fake oder nicht?
Kriegst du nicht mal 'nen DNS-Lookup selbst hin?
Code: Alles auswählen
D:\>nslookup 66.249.72.244
Server: obelix.robo.local
Address: 192.168.72.110
Name: crawl-66-249-72-244.googlebot.com
Address: 66.249.72.244
Der ist echt.
Auch eine Whois-Abfrage bestätigt das:
Code: Alles auswählen
D:\>whois 66.249.72.244
OrgName: Google Inc.
OrgID: GOGL
Address: 1600 Amphitheatre Parkway
City: Mountain View
StateProv: CA
PostalCode: 94043
Country: US
NetRange: 66.249.64.0 - 66.249.95.255
CIDR: 66.249.64.0/19
NetName: GOOGLE
NetHandle: NET-66-249-64-0-1
Parent: NET-66-0-0-0-0
NetType: Direct Allocation
NameServer: NS1.GOOGLE.COM
NameServer: NS2.GOOGLE.COM
Comment:
RegDate: 2004-03-05
Updated: 2004-11-10
OrgTechHandle: ZG39-ARIN
OrgTechName: Google Inc.
OrgTechPhone: +1-650-318-0200
OrgTechEmail: arin-contact@...
# ARIN WHOIS database, last updated 2006-04-05 19:10
# Enter ? for additional hints on searching ARIN's WHOIS database.
cu, Robo
(Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 10:25
von ole1210
@ slomo:
Toll gemacht!
Und ich wunder mich, warum seit 2 Tagen kein google Bot mehr vorbei kommt.
Da sitzen die bei dir in der Falle.
Verbrecher!!
(Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 11:19
von SloMo
Dann hat Google jetzt ein paar Bots draußen, die keine robots.txt verstehen. Meine Bottrap existiert in dieser Form seit über einem Jahr, und es ist vorher noch kein einziger Googlebot darauf hereingefallen.
Verfasst: 06.04.2006, 11:51
von ole1210
Ich war schon imer der meinung, das google sich nur nach Lust und Laune an die robots.txt hält.
Möglicherweise hast du das jetzt bewiesen!
(Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 11:56
von SloMo
Na die Beweisführung hätte ich mir gerne erspart
Wie gesagt, bis jetzt haben sich immer alle dran gehalten. Seit gestern sind inzwischen zwei Mozilla-Bots in die Falle gegangen. Wundert mich nur, dass es offenbar nur bei mir so ist. Bei einem generellen Problem würden sich sicherlich mehr Leute hier melden.
(Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 12:12
von robo
Ich meine irgendwo gelesen zu haben, dass der Googlebot eine Extrawurst braucht. Ich glaub sogar, es war hier im Forum. Da hatte auch einer einen Test dazu gemacht.
Konkret bedeutet das, dass sich der Googlebot offensichtlich nicht immer von "User-agent: *" angesprochen fühlt, wohl aber von "User-agent: googlebot".
Ich weigere mich aber trotzdem, für den Googlebot Extrawürste zu braten.
cu, Robo
(Fake-)Googlebot in Bottrap gefangen
Verfasst: 06.04.2006, 13:35
von SloMo
Meine robots.txt sieht im Prinzip so aus:
User-agent: googlebot
Disallow: /bottrap/
User-agent: *
Disallow: /
Ist also sehr restriktiv. Selbst wenn einer der beiden Einträge vom Googlebot übersehen worden wäre, hätte er auf keinen Fall in die Trap gehen dürfen. Das heißt, dass die gesamte robots.txt ignoriert wurde, obwohl sie schon längere Zeit gut funktioniert hat.
Verfasst: 08.07.2006, 11:54
von soultcer
--
Verfasst: 08.07.2006, 12:03
von oldInternetUser
soultcer hat geschrieben:Am 07.07.2006 um 21:04:00 (MESZ) hat sich bei mir von der IP
64.233.173.85 (Google) folgender User-Agent in die Bottrap verirrt: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FDM)
Was soll das?
Ein Browser muß keine robots.txt beachten. Also gibt es auch kein Problem - sondern nur Fehlalarm aufgrund einer falschen Vermutung.
Verfasst: 08.07.2006, 20:58
von thetrasher
soultcer:
64.233.172.0/23 = GWA (Google Web Accelerator)
(
siehe WMW)
SloMo:
Vielleicht war die robots.txt für kurze Zeit nicht abrufbar? Googlebot ruft nur noch einmal am Tag die robots.txt ab. Einen Zugriff auf die robots.txt ohne kurz danach folgende Zugriffe konnte ich bereits beobachten. Wenn dein Server bei der Abfrage kurz offline war oder das Routing missglückte, konnte Google deine Verbote nicht lesen.
Verfasst: 09.07.2006, 13:14
von soultcer
--
Verfasst: 11.07.2006, 17:45
von Windy
Tja, das Google die robots.txt nicht immer beachtet hab ich nun auch festgestellt. Er wurde von meiner Floodprotection in einem per robots.txt gesperrten Bereich gefangen, als er mit 2 IPs in 30-40 Sekunden jeweils über 30 Aufrufe gemacht hat.
Verfasst: 11.07.2006, 17:54
von thetrasher
Windy, welche 2 IPs? User-Agent? Wurde die robots.txt tatsächlich gelesen?
In den Google-IP-Bereichen tummeln sich nicht nur Googlebots.
