Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
IP 193.47.83.102 mit >500 Connections ca. alle 3 Stunden?
Unterforen nur für registrierte User lesbar = Traffic Minus
Code: Alles auswählen
Disallow: /dir/1/*/index.htm
Allow: /dir/1/index.htm
Zwar nicht direkt reguläre Ausdrücke, aber der GoogleBot akzeptiert als einer der wenigen schon solche Konstrukte wie oben:einen allgemeinen ausdruck für die robots.txt wirst du nicht finden, da die robots.txt keine regulären ausdrücke unterstützt!
außerdem sind robots.txt direktiven keines wegs sicher.
<?
header("HTTP/1.0 301 Moved Permanently");
header('Location: https://www.domain.tld/dir/1/index.htm ');
exit();
?>