Die Angabe im User-Agent-Feld des Headers wird vom Client bestimmt, lässt sich also sehr leicht fälschen. Wer an Deinen Content kommen will, kann Deine Crawler-Sperre deshalb sehr leicht umgehen.monezmo hat geschrieben:Wie meinst du das wenn ich den user-agent benutze?
Kommt auf das Ziel an. Content-Diebe kann man am effektivsten mit einer Bottrap auf IP-Basis sperren. https://www.bot-trap.de ist empfehlenswert.Bezüglich des daneben schiessens, gibt es denn eine bessere Möglichkeit?
Versehentliche DDOS-Szenarien (kaputte Crawler und so) bekommt man mit einer IP-basierten Zugriffslimit in den Griff. Das kann man relativ einfach selbst programmieren. Einfach die Zugriffe von einer bestimmte IP zählen und beim Erreichen des Limits einen adäquaten Fehlercode oder eine Fehlerseite senden. Ich hatte sowas mal, habe es aber abgeschafft, weil es die Gefahr birgt, dass gute Crawler vergault werden.
Die absolute Sicherheit bringen all diese Sachen nicht. Dazu müsstest Du den Content in einen kennwortgeschützten Bereich legen, dann kommt aber kein Crawler mehr an ihn ran.
Wenn es nur um die Serverlast geht, die unwichtige Crawler verursachen können, dann empfehle ich, lieber an den Performance-Faktoren zu arbeiten. Zusätzliches Caching, Grafiken auf andere Domain legen, Dateien zusammenfassen, Ausgabe komprimieren. (ohne Anspruch auf Vollständigkeit)
