Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

trotz htaccess macht majestic12 bot weiter was tun ?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Rolandooo
PostRank 1
PostRank 1
Beiträge: 7
Registriert: 14.12.2009, 12:04

Beitrag von Rolandooo » 31.07.2010, 12:30

Hallo
ich habe ein System eingerichtet mit dem ich benachrichtigt werde wenn nicht gestattetes stattfindet.
Da der majestic12 Bot nicht lernfähig ist und mit massiver Gewalt wiederkehrend alles abfragt was nicht da ist oder wo er nicht rein darf und damit eine Welle von Benachrichtigungen auslöst, wollte ich den ausperren. Aber die unten angegebene htaccess greift nicht ? Er kommt durch und arbeitet immer wieder das gleiche ab, tausendfach. Die IP ändert er ständig

User-Agent: Mozilla/5.0 (compatible; MJ12bot/v1.3.3; https://www.majestic12.co.uk/bot.php?+)
IP: https://ip-lookup.net/?ip=93.217.127.168

------das ist in der htaccess drin-------------trotzdem kommt der Bot durch

RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^majestic12 [OR]
RewriteRule ^.* - [F,L]

Weiß hier jemand wie man den ausschalten kann ?

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Synonym
PostRank 10
PostRank 10
Beiträge: 3708
Registriert: 09.08.2008, 02:55

Beitrag von Synonym » 31.07.2010, 13:02

Also erstens kann das nicht gehen. Du schreibst selber

User-Agent: Mozilla/5.0 (compatible; MJ12bot/v1.3.3; https://www.majestic12.co.uk/bot.php?+)

Deine
RewriteCond %{HTTP_USER_AGENT} ^MJ12bot [OR]
RewriteCond %{HTTP_USER_AGENT} ^majestic12 [OR]
sagt aber aus, dass der User-Agent mit "MJ12bot" oder "majestic12" beginnen muss. Kann nicht gehen. Nimm mal das ^ am Anfang weg.

Dann ist da noch (weiß nicht ob es wichtig ist) ein [OR] zu viel. Bei der letzten Cond gehört das nicht hin, da danach ja keine andere mehr kommt.

Rolandooo
PostRank 1
PostRank 1
Beiträge: 7
Registriert: 14.12.2009, 12:04

Beitrag von Rolandooo » 31.07.2010, 18:00

ich nehme das jetzt raus. Das OR ist beim letzten Eintrag weg. Mal sehen ob er wiederkommt.

tuennes
PostRank 5
PostRank 5
Beiträge: 266
Registriert: 09.08.2009, 13:03
Wohnort: Köln

Beitrag von tuennes » 03.08.2010, 14:14

Es gibt für Firefox ein Plugin namens User Agent Switcher (https://chrispederick.com/work/user-agent-switcher/) damit kannst du den Namen deines Firefox auf den des Majestic-Bots ändern um die htaccess zu testen...

Antworten