Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Backlink Crawler ausschließen

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Neues Thema Antworten
BobbyC
PostRank 2
PostRank 2
Beiträge: 52
Registriert: 13.02.2012, 09:59

Beitrag von BobbyC » 29.08.2013, 15:55

Moin,

ich habe einige Seiten, bei denen ich die ganzen Backlink Crawler gerne per htcaccess ausschließen würde. Leider habe ich keine Liste mehr der gängigen Crawler und jeden einzelnen zu suchen, wäre ein echter Aufwand. Vielleicht hat ja hier jemand eine aktuelle Liste und wäre so freundlich diese zu teilen, würde mich echt freuen.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


SloMo
PostRank 10
PostRank 10
Beiträge: 4880
Registriert: 04.01.2005, 18:26

Beitrag von SloMo » 29.08.2013, 19:40

BobbyC hat geschrieben:ich habe einige Seiten, bei denen ich die ganzen Backlink Crawler gerne per htcaccess ausschließen würde. Leider habe ich keine Liste mehr der gängigen Crawler und jeden einzelnen zu suchen, wäre ein echter Aufwand.
Folgender RegEx sollte vieles erschlagen. Alles, was am Anfang des User-Agent (vor der öffnenden Klammer) ein "Check" (auch "Checker" etc.), "Profile" (auch "Profiler" etc.) oder "Backlink" (etc.) enthält.

Code: Alles auswählen

/^[^\(]*(check|profile|backlink)/i
Auf eigene Gefahr, bitte selbst testen. Ich verwende eine lange, exaktere Liste, die alles mögliche enthält, nicht nur Backlink-Tools (weil die eh nur einen kleinen Teil der lästigen Biester ausmachen).

Antworten