gsa-crawler google.com

Beitrag von **Mario670** » 17.01.2005, 19:31

Kennt den Kollegen einer?

gsa-crawler &#40;Enterprise; GIX-01 466;
tomwy@google.com&#41;

von **Anzeige von ABAKUS** »

Beitrag von **bull** » 17.01.2005, 19:33

Beitrag von **Southmedia** » 17.01.2005, 19:36

https://www.searchtools.com/analysis/go ... ncev1.html

Beitrag von **picxl** » 17.08.2009, 10:40

Den Google-Abkömmling für Enterprise-Kunden nutzen sicherlich mehrere Firmen oder Institutionen. Bei nervte immer mal wieder die Landesanstalt für Umwelt Baden-Württemberg, die die großartige Idee haben, eine Umweltsuchmaschine aufzubauen; was für ein Schrott, aber es sind ja vermutlich nur Steuergelder... Da deren Zugriffe den Server praktisch lahm legten, bekommen sie nun nur noch Error 403.

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; gsa-crawler
RewriteRule ^.* - &#91;F,L&#93;

Testen lässt sich das Ganze recht gut mit Lynx oder Online auf Bots vs. Browser.
Ich habe ja nichts dagegen auch in den exotischsten Suchmaschinen aufzutauchen und auf diesem Weg 2 Besucher im Monat mehr zu bekommen. Doch sollte man dann schon dazu in der Lage sein, die Crawler so zu konfigurieren, dass es nicht zu Störungen kommt. Nach Beschwerden per E-Mail erfolgte stets eine Entschuldigung und die Crawler-Aktivitäten wurden beschränkt, warum das nicht der Standard des LUBW ist, weiß ich nicht...