[S] Moeglichst vollstaendige Liste von Google IP Ranges?

[Airport1]

Hat jemand eine moeglichst vollstaendige aktuelle Liste von Google IP Ranges? Also nicht einzelne IPs, sondern schon ganze IP Ranges?

Es gibt zwar viele Listen im Netz, aber sehr oft unvollstaendig, mit Bruchstellen, und sehr oft nur ein paar einzelne IPs..

Wir benoetigen die Liste fuer eine feste Whitelist im **zensiert** , damit bei Anschlagen des **zensiert** nicht versehentlich Google geblockt wird. Ist zwar doppelt gemoppelt, aber haelt bekanntlich besser..

[hard_pollux]

Airport1,
darf ich Dich als meinen neuesten Jünger begrüßen?
Du wirst mit einer gewissen Unvollständigkeit leben müssen, Du mußt sogar gewisse GoogleIPs sperren.

Ich fahre seit mehr als zwei Jahren mit einer WL, zwichenzeitlich mal für ganz kurze Zeit unterbrochen von einer BL Leider hatte ich mir ein zu großes Angstloch eingebaut, was zu erheblichen Schäden geführt hat, dank Deiner hier veröffentlichten Listen.

>>"**zensiert**" - Du wirst mir immer symphatischer, Du hast gelernt!

Bekomme ich Deine WL mal zur Begutachtung?
Du wirst natürlich auch einige deny-Einträge machen müssen, weil die Schlupflöcher der Angstdimensionen für den Googlebot einfach zu groß sind.
Eine gute WL bietet gegen **zensiert** einen 100%igen Schutz. Aber da gibt es noch endlos verwandte Gefahren mit dem gleichen Ziel und Ergebnis, die ich bei meinem jüngsten Besuch in Amerika erfahren durfte - da sind wir hier in Germanien noch Jahre zurück.
Auf Hilfe von G ist da nicht zu hoffen, denn die bekommen ihren eigenen Kram noch nichteinmal auf die Reihe. Vergleichbar mit M$, mit jedem neuen Feature werden neue Bugs eingeschliffen.

Du solltest die WL aber nicht veröffentlichen, da sie immer ein gewiises Restrisiko birgt, daß Teile von G ausgesperrt werden, die morgen rankingrelevant sein können, und als Erstes werden sich die Übeltäter bedienen, welche provozierten und gefürchteten Gegenschlägen entgehen möchten.
Das solltest Du alles bedenken!

Ich persönlich werde meine WL niemals veräußern, da sie ständig weiterentwickelt wird und durchaus schon als Programm bezeichnet werden darf.
Sie erkennt Bad Boys selbstständig, rückverfolgt selbstständig, usw.

Das sind alles Aufgaben, die auf den künftigen Webmaster zukommen werden. Geklauter Content aus den Tops und gekaufte Links drauf, wird bald zur "Ausschußware".

GG

[Michael]

Keine Antwort auf die Frage, aber evtl. ein besserer Ansatz um einen Google Bot zu erkennen.

https://googlewebmastercentral.blogspot ... lebot.html

Gruß
Michael

[propaganda]

Wenn Du etwas Kohle übrig hast, dann nimm die Liste hier:
https://searchbotbase.com/

[hard_pollux]

Danke Michael, hab's mal gebookmarkt, weil so auf die Schnelle nicht ganz verstanden.

Hatte jedenfalls die Tage Besuch von 193.xxx.xxx.xxx, UA = G-bot. Weiß nicht, ob das so zu verifizieren gewesen wäre, muß den Artikel nochmal durchlesen. Weiß auch nicht, welcher programmiertechnische Aufwand hinter der Verifikation steckt.

Dabei fällt mir gerade ein, wie schaut die Verifikation aus, wenn G über den Proxy kommt, bzw. wie schaut es bei unterschiedlich modifizierten Proxies aus.

Das Ganze ist ein großes Betätigungsfeld und bedarf aufwändiger Tests.
Villeicht sollte ich umsteigen ?!?

GG

[Michael]

Habe das mal eben in PHP Code übersetzt.

<?

$ip = "66.249.66.1";

$hostname = gethostbyaddr($ip);
$ip2 = gethostbyname($hostname);
if ($ip == $ip2 && ereg(".*googlebot.com", $hostname))
{
echo "Hier handelt es sich um einen Google Bot\r\n";
} else {
echo "Hier handelt es sich nicht um einen Google Bot\r\n";
}

?>

Gruß
Michael

[hard_pollux]

Danke Michael,

ist mir eine große Hilfe.
"$hostname = gethostbyaddr($ip); "

hatte ich schon selbst realisiert,

"$ip2 = gethostbyname($hostname); "

trage ich jetzt nach.

GG

[seikodäd]

und weshalb soll diese methode nun nicht sicher sein, wie es unter dem link heisst, sodass man unbedingt 'ne liste von googlebot-ips benötigt?

[Airport1]

von dem quasi "nslookup" ist aber nicht viel zu halten:
1. frisst ein gethostbyaddr() mal so richtig kraeftig ressourcen -> LAST
2. wie in den artikeln steht kann man easy rdns faken..

[hard_pollux]

Airport1,

>>"2. wie in den artikeln steht kann man easy rdns faken.."

nur weil irgendwo was steht, muß das nicht richtig sein, zumal es sich hier um eine sehr relativ zu bewertende Aussage handelt.

Hättest Du geschrieben, daß es für Dich leicht ist, würde ich darüber nachdenken. Allerdings ist es für mich eine der leichtesten Übungen mich mit 'ner IP des G-bots zu bewegen. Dennoch hatte ich nie den Eindruck, daß irgendjemand meine Seiten mit einer gefakten IP besucht hat. Gefakte Referrer hingegen sind Tagesgeschäft.

Vorrübergehend werde ich mal die statische Liste mit den großen Angstlöchern und die dynamische Lösung fahren.
Letztendlich gibt es immer bösartige "Geschwulste" die die Kriterien einer WL erfüllen - da hilft nur ein deny-record.

Es ist schon traurig, mit welchen Webratten man sich herumplagen muß, und das weltweit!

Gibt es eigentlich Kollegen, die schon daran gedacht haben, sich gewisse Plagen monetär vom Hals schaffen zu lassen, oder gibt nur Kollegen die für professionelles Downranking zahlen?

GG

[SloMo]

von dem quasi "nslookup" ist aber nicht viel zu halten:
1. frisst ein gethostbyaddr() mal so richtig kraeftig ressourcen -> LAST

Man muss es ja nicht bei jedem Zugriff prüfen, sondern nur, wenn ein neuer in die Falle geht, oder wenn es sich um einen Googlebot mit unbekannter IP handelt.

[SISTRIX]

1. frisst ein gethostbyaddr() mal so richtig kraeftig ressourcen -> LAST.

Kann ich nicht bestätigen. Ordentliche Systeme cachen solche Anfragen von sich aus - wenn man nichts zu tun hat, kann man den Kram natürlich auch selber irgendwo im RAM cachen. Die Last ist dabei zu vernachlässigen.

2. wie in den artikeln steht kann man easy rdns faken..

Deswegen arbeitet davon den großen Suchmaschinen genutze System ja auch nicht nur mit dem rdns-Eintrag. Also: Du hast einen Besucher, der sich als Googlebot ausgibt und von der IP 66.249.65.20 kommt. Jetzt machst du als erstes die Auflösung von IP auf Host: crawl-66-249-65-20.googlebot.com. Da dies aber, wie du richtig gesehen hast, jeder selber einstellen kann, kommt danach als zweiter Schritt wie Auflösung von diesem Hostnamen auf die IP - und _das_ kann nur der Eigentümer der Domain selber einstellen, hier also Google. Wenn "crawl-66-249-65-20.googlebot.com" jetzt nicht auf die ursprüngliche IP auflösen würde, wär der Besuch gefaked.

Ich habe das letztes Jahr testweise mal unter https://tools.sistrix.com/ve/ als Tool online gestellt.

Gruß Johannes

[Airport1]

Danke danke, wieder ein paar Hints schlauer!

[Michael]

1. Das Verfahren ist sicher. Wenn man seinem DNS nicht mehr vertraut, kann man das Internet eigentlich völlig in Frage stellen.
2. DNS ist ein sehr einfacher Dienst, der eigentlich nur eine besonderheit kennt. DNS muss so schnell sein, dass der Arsch brennt! Daher auch kein Ressourcen Problem.
3. Einmal ein den Host identifiziert, kann man die Daten ja cachen. Google arbeitet nur sehr selten mit dynamschen IPs .

Michael