ABAKUS

Moin,

ich habe einige Seiten, bei denen ich die ganzen Backlink Crawler gerne per htcaccess ausschließen würde. Leider habe ich keine Liste mehr der gängigen Crawler und jeden einzelnen zu suchen, wäre ein echter Aufwand. Vielleicht hat ja hier jemand eine aktuelle Liste und wäre so freundlich diese zu teilen, würde mich echt freuen.

BobbyC hat geschrieben:ich habe einige Seiten, bei denen ich die ganzen Backlink Crawler gerne per htcaccess ausschließen würde. Leider habe ich keine Liste mehr der gängigen Crawler und jeden einzelnen zu suchen, wäre ein echter Aufwand.

Folgender RegEx sollte vieles erschlagen. Alles, was am Anfang des User-Agent (vor der öffnenden Klammer) ein "Check" (auch "Checker" etc.), "Profile" (auch "Profiler" etc.) oder "Backlink" (etc.) enthält.
Auf eigene Gefahr, bitte selbst testen. Ich verwende eine lange, exaktere Liste, die alles mögliche enthält, nicht nur Backlink-Tools (weil die eh nur einen kleinen Teil der lästigen Biester ausmachen).