Fake Google-bots ausssperren

Beitrag von **GreenHorn** » 18.02.2009, 20:26

Hat jemand den htaccess code zur Hand, mit dem man per allow-ip-liste alle anderen ips die mit Google UA aufschlagen aussperren kann. Ist zur Zeit echt eine Plage, finde aber im Momment nicht den passenden code...

von **Anzeige von ABAKUS** »

Beitrag von **t-rex** » 19.02.2009, 12:49

Hi,

hatte mal was direkt in der Apache Dokumentation gelesen. RewriteMap ist dein Freund. Doku findest Du hier https://httpsd.apache.org/docs/2.2/mod/mod_rewrite.html

Damit kannst du einfache Listen auswerten oder die Rule durch ein Perl, PHP oder Shell Skript auswerten lassen.

Ob es in der .htaccess erlaubt ist weiss ich nicht mehr sicher. Ich glaube mich zu erinnern, dass es da den einen oder anderen Stolperstein gab.

Mit einer IP-Liste wäre ich allerdings vorsichtig, zudem mit einer Whitelist. Da ist recht schnell mal der gute Bot nicht freigegeben. Blacklist ist zwar arbeitsintensiver, aber zumindest wird da kein falscher Bot ausgesperrt.

Ich würde das (zumindest als Gegenprobe) über einen Reverse Lookup gegenchecken.

Hier mal der Versuch von Pseudocode

Code: Alles auswählen

if &#40;$USER_AGENT == 'Gogglebot'&#41; &#123;
  $blockit = true;
  $google = in_array&#40;$REMOTE_ADDR, $IPLISTGOOGLE&#41;;
  if &#40;!$google&#41; &#123;
    $badbot = in_array&#40;$REMOTE_ADDR, $IPLISTBADBOT&#41;;
    $blockit = false;
  &#125;
  if &#40;!badbot && !$google&#41; &#123;
    $hostname = gethostbyaddr&#40;$REMOTE_ADDR&#41;;
    if &#40;preg_match&#40;'/&#40;google.com|googlebot.com&#41;$/', $hostname&#41;&#41; &#123;
      $thisips = gethostbynamel&#40;$hostname&#41;;
      if &#40;in_array&#40;$REMOTE_ADDR, $thisip&#41; &#123;
        $blockit = false;
      &#125;
    &#125;
  &#125;
  if &#40;$blockit&#41; &#123;
    // Mach was du mit dem Client machen möchtest
  &#125;
&#125;

1. Überprüfung Useragent. gibt er sich als Googlebot aus, Überprüfung starten.
2. Vorsorglich wird die Variable $blockit auf true gesetzt.
3. Überprüfung Whitelist. Wenn bekannt und richtig alles Okay. $blockit wird neutralisiert.
4. IP ist nicht in der Whitelist. Gegenprüfen, ob es ein bekannter Fake ist.
5. Ist er kein bekannter Googlebot und kein bekannter Fakebot, DNS-test starten
6. Hostname anhand der übergebenen IP ermitteln.
7. Ist der Hostname der Domain google.com oder dem googlebot.com zuzuordnen, gegen testen.
8. Nun wird die IP oder die IPs anhand des ermittelten Hostnames überprüft. Ist die REMOTE_ADDR in dieser Liste ist es vermutlich ein echter Googlebot. Und $blockit wird auf false gesetzt.

Hoffe es ist von der Logik her richtig

aber es sollte jedenfalls den Weg und den Sinn wiedergeben. Es sollte sich mit jeder Scriptsprache, die auf einem Server verfügbar ist, umsetzen lassen. Und es scheint mir auch der sicherste und alles erschlagende Weg sein, um böse Buben mit Fake-Bots auszuschliessen. Es gibt natürlich auch noch zahlreiche Variationen aund anpassungsmöglichkeiten, aber das alles war ja nicht Deine Frage

Sonnige Grüsse
HaPe

Beitrag von **bloddy newbie** » 19.02.2009, 15:10

Hallo,

in der Art (schließt andere IP-Adressen als aufgeführt mit dem User Agent "googlebot" aus):

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; googlebot
RewriteCond %&#123;REMOTE_ADDR&#125; !^1.1.1.1 &#91;OR&#93; 
RewriteCond %&#123;REMOTE_ADDR&#125; !^2.2.2.2 &#91;OR&#93; 
# alles was nicht aus 2.2.3.* kommt
RewriteCond %&#123;REMOTE_ADDR&#125; !^2.2.3. &#91;OR&#93;
RewriteRule ^.* - &#91;F&#93;

Es können sowohl einzelne IP Adressen oder auch ganze Blocks zu definiert werden.

Grüße
BN

Beitrag von **GreenHorn** » 19.02.2009, 21:18

Könnte also das korrekt sein?

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; Googlebot
RewriteCond %&#123;REMOTE_ADDR&#125; !^209.185. &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; !^209.85. &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; !^216.239. &#91;OR&#93; 
RewriteCond %&#123;REMOTE_ADDR&#125; !^216.33. &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; !^64.233. &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; !^64.68. &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; !^66.249. &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; !^72.14. &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; !^8.6.
RewriteRule ^.* - &#91;F&#93;

Danke für die bisherigen Antworten!

Beitrag von **Michael** » 19.02.2009, 22:08

Hier eine Empfehlung von Google!

https://googlewebmastercentral.blogspot ... lebot.html

Beitrag von **GreenHorn** » 19.02.2009, 22:51

Michael hat geschrieben:Hier eine Empfehlung von Google!

https://googlewebmastercentral.blogspot ... lebot.html

Danke. aber das geht mir meilenweit am Popo vorbei, es geht hier um Prävention und nicht um Nachsorge...

Beitrag von **profo** » 20.02.2009, 00:15

@greenhorn, wo hast Du denn die schicke Liste her? Aber bist Du Dir bei den IPs sicher?

Da sind ja schließlich auch Netze von großen Webhostern dabei; bei einem 16er Range im htaccess hättest Du dann natürlich trotzdem massenhaft Spamkandidaten. Was ist zum Beispiel mit 209.85/16 (209.85.0.0/17 == NETBLK-THEPLANET-BLK-EV1-15)..., ist da irgendwo Google dabei?

Beitrag von **w3news** » 20.02.2009, 01:02

GreenHorn hat geschrieben:
Michael hat geschrieben:Hier eine Empfehlung von Google!

https://googlewebmastercentral.blogspot ... lebot.html
Danke. aber das geht mir meilenweit am Popo vorbei, es geht hier um Prävention und nicht um Nachsorge...

Wenn ich das aber richtig verstehe muss man doch nur die IP des Googlebots umwandeln und checken ob dann dabei *.googlebot.com herauskommt und das sollte man doch auch schon vorab checken können...

Beitrag von **profo** » 20.02.2009, 01:34

@w3news, das geht, ist aber nicht ganz trivial. Gerade wenn Du "live" bei den Requests nachschaust. Das verlangt dann wahrscheinlich eine gute Caching-Strategie und ein bisschen Nachdenken; die DNS-Lookups dauern nämlich selbst bei gut laufenden DSN-Servern ohne Netzwerkstörung ein bisschen. Auf jeden Fall ist das nichts, was man mal so eben in die htaccess eintragen kann, meine ich...

Beitrag von **GreenHorn** » 20.02.2009, 09:47

@profo
Ja...

Kann man präzisieren, je nach Bedarf.
Hier eine IP Liste https://www.iplists.com/google.txt
Muß man natürlich up to date bleiben...