Seite 1 von 1

gsa-crawler google.com

Verfasst: 17.01.2005, 19:31
von Mario670
Kennt den Kollegen einer?

Code: Alles auswählen

gsa-crawler (Enterprise; GIX-01 466;
tomwy@google.com)

Verfasst:
von

Verfasst: 17.01.2005, 19:33
von bull
IP?

Verfasst: 17.01.2005, 19:36
von Southmedia

Verfasst: 17.08.2009, 10:40
von picxl
Den Google-Abkömmling für Enterprise-Kunden nutzen sicherlich mehrere Firmen oder Institutionen. Bei nervte immer mal wieder die Landesanstalt für Umwelt Baden-Württemberg, die die großartige Idee haben, eine Umweltsuchmaschine aufzubauen; was für ein Schrott, aber es sind ja vermutlich nur Steuergelder... Da deren Zugriffe den Server praktisch lahm legten, bekommen sie nun nur noch Error 403.

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} gsa-crawler
RewriteRule ^.* - [F,L]
Testen lässt sich das Ganze recht gut mit Lynx oder Online auf Bots vs. Browser.
Ich habe ja nichts dagegen auch in den exotischsten Suchmaschinen aufzutauchen und auf diesem Weg 2 Besucher im Monat mehr zu bekommen. Doch sollte man dann schon dazu in der Lage sein, die Crawler so zu konfigurieren, dass es nicht zu Störungen kommt. Nach Beschwerden per E-Mail erfolgte stets eine Entschuldigung und die Crawler-Aktivitäten wurden beschränkt, warum das nicht der Standard des LUBW ist, weiß ich nicht...