Backlink Crawler ausschließen
Verfasst: 29.08.2013, 15:55
Moin,
ich habe einige Seiten, bei denen ich die ganzen Backlink Crawler gerne per htcaccess ausschließen würde. Leider habe ich keine Liste mehr der gängigen Crawler und jeden einzelnen zu suchen, wäre ein echter Aufwand. Vielleicht hat ja hier jemand eine aktuelle Liste und wäre so freundlich diese zu teilen, würde mich echt freuen.
ich habe einige Seiten, bei denen ich die ganzen Backlink Crawler gerne per htcaccess ausschließen würde. Leider habe ich keine Liste mehr der gängigen Crawler und jeden einzelnen zu suchen, wäre ein echter Aufwand. Vielleicht hat ja hier jemand eine aktuelle Liste und wäre so freundlich diese zu teilen, würde mich echt freuen.