ABAKUS

Ich hab ja in meiner .htaccess schon einige wie Webwarper.

Das sind es immer IPs die nur aus zahlen bestehen.
Ich hab mir nun ein Tool gebastelt, was mir aus dem Logfile die IPs rausfiltert, die sehr viel Traffic verursachen.

Per Click kann ich sehen, was das Teil alles ausgefrufen hat.
Hab da nun diesen Spezi gefunden.

"IRLbot/3.0 (compatible; MSIE 6.0; https://irl.cs.tamu.edu/crawler)"

IP ist crawler4.irl.cs.tamu.edu

Wie sperrt man sowas ?
Wie ne normale IP, also so ?

RewriteCond %{REMOTE_ADDR} ^crawler4\.irl\.irl\.cs\.tamu [OR]
Irgendwie reichen da aber die Punkte nicht

Das ist ein Hostname (https://de.wikipedia.org/wiki/Hostname). Den wandelst du jetzt in die zugehörige IP-Adresse (https://de.wikipedia.org/wiki/Ip-adresse) um, und sperrst dann diese.
Gruß Johannes

PS: bei mir ist der ganze IP-Bereich schon länger gesperrt:

IPs kannst Du einfach durch anpingen ermitteln:

crawler4.irl.cs.tamu.edu [128.194.135.94]

Hier findest Du zu allem Möglichen ein paar Tools.
https://www.dnsstuff.com/

Tausend Dank, wieder was gelernt

Wenn dein Server die IP-Adressen auflöst, kannst du in der .htaccess auch diese Namen verwenden, z.B.

deny from tamu.edu

Dann geht aber die Performance in den Keller.

Flox, probier es aus.
Die Rechner haben mittlerweile so viel Rechenpower, dass sie auch bei mittelgrossem Traffic in der Lage sind, die IP-Adressen aufzulösen, ohne im Keller zu verschwinden.

Performanceprobleme in diesem Bereich liegen fast immer an lahmen DNS-Servern und nicht an der Power der eigentlichen Webserver. Also such dir einen ordentlichen, solide cachenden (!!!) DNS-Server oder setz lokal noch nen DNS-Proxy auf und es gibt eigentlich keine Probleme, wenn du nicht gerade YouTube betreibst.

Gruß Johannes

Hallo Johannes,

hatte im Juni und Juli viel besuch von diesem Bot und anschließend einen geringen schleichenden Besucherrückgang.
Lohnt es sich zu warten das die Domains sich erholen oder kann ich die jetzt knicken ???

Gruß Helmut