Seite 1 von 1
gsa-crawler google.com
Verfasst: 17.01.2005, 19:31
von Mario670
Kennt den Kollegen einer?
Code: Alles auswählen
gsa-crawler (Enterprise; GIX-01 466;
tomwy@google.com)
Verfasst: 17.01.2005, 19:33
von bull
IP?
Verfasst: 17.01.2005, 19:36
von Southmedia
Verfasst: 17.08.2009, 10:40
von picxl
Den Google-Abkömmling für Enterprise-Kunden nutzen sicherlich mehrere Firmen oder Institutionen. Bei nervte immer mal wieder die
Landesanstalt für Umwelt Baden-Württemberg, die die großartige Idee haben, eine Umweltsuchmaschine aufzubauen; was für ein Schrott, aber es sind ja vermutlich nur Steuergelder... Da deren Zugriffe den Server praktisch lahm legten, bekommen sie nun nur noch Error 403.
Code: Alles auswählen
RewriteCond %{HTTP_USER_AGENT} gsa-crawler
RewriteRule ^.* - [F,L]
Testen lässt sich das Ganze recht gut mit Lynx oder Online auf
Bots vs. Browser.
Ich habe ja nichts dagegen auch in den exotischsten Suchmaschinen aufzutauchen und auf diesem Weg 2 Besucher im Monat mehr zu bekommen. Doch sollte man dann schon dazu in der Lage sein, die Crawler so zu konfigurieren, dass es nicht zu Störungen kommt. Nach Beschwerden per E-Mail erfolgte stets eine Entschuldigung und die Crawler-Aktivitäten wurden beschränkt, warum das nicht der Standard des LUBW ist, weiß ich nicht...