MJ12bot - majestic12.co.uk

Beitrag von **Luckybuy3000** » 14.05.2005, 14:55

Der Bot hält sich an die robots.txt und beachtet angeblich auch den crawl delay Befehl. Er ist ziemlich aktiv. Hab ich noch nicht getestet.
Was bringt er eigentlich langfristig ?
Ich überlege derzeit, ihn auszusperren.

213.84.154.151 - - [13/May/2005:12:33:48 +0200] "HEAD /robots.txt HTTP/1.1" 200 0 "-" "MJ12bot/v1.0.0 (https://majestic12.co.uk/bot.php?+)"
213.84.154.151 - - [13/May/2005:12:33:48 +0200] "GET /robots.txt HTTP/1.1" 200 437 "-" "MJ12bot/v1.0.0 (https://majestic12.co.uk/bot.php?+)"

von **Anzeige von ABAKUS** »

Beitrag von **impi** » 14.05.2005, 16:35

Luckybuy3000 hat geschrieben:Was bringt er eigentlich langfristig ?:roll:

Hallo, schau mal hier, vielleicht findest Du jemanden, den Du direkt ansprechen kannst zwecks Auskunft

Vielleicht irre ich mich auch, Nicks sind manchmal irreführend.

https://majestic12.co.uk/ Eintrag 7/04/05 MJ12node v1.0.0

Boris

Beitrag von **Keyser Soze** » 10.04.2007, 15:32

Der Bot ist bei mir gerade zum "Bad Bot" mutiert.... ich hatte ihn schon immer in der robots.txt geblockt. Gestern hat er plötzlich angefangen zu crawlen wie ein Weltmeister (Intervall 2 Sekunden und weniger - rund um die Uhr

).
Nun ist er geblockt per htaccess, versucht aber fleißig weiter zu crawlen, obwohl er nur noch 403er um die Ohren gehauen bekommt....

Beitrag von **Luckybuy3000** » 20.04.2007, 23:43

Hab ihn auch vor etlicher Zeit endgültig ausgesperrt.

Beitrag von **Keyser Soze** » 21.04.2007, 10:55

Ich habe den Autor kontaktiert und er hat mich nun auf eine "interne Blacklist" gesetzt. Seitdem greift der Bot nicht mal mehr auf meine robots.txt zu und es ist Ruhe.

Beitrag von **Aga** » 18.12.2007, 17:10

Hallo,

majestic12.co.uk ist ein Sammler (Harvester).
Er sammelt Emailadressen von Webseiten für SPAM.
Am 27. Nov 2007 besuchte er uns. https://www.abx.de/error.php
Hier holte er sich eine Emailadresse ab, die speziell für ihn generiert wurde.
Am 18. Dez. haben wir den ersten SPAM auf diese Adresse erhalten.

Er meldete sich als "MJ12bot/v1.0.8 (https://majestic12.co.uk/bot.php?+)".
Seine IP-Adresse: 200.106.108.148.

Aga

Beitrag von **GreenHorn** » 23.12.2007, 20:22

Aga hat geschrieben:Er meldete sich als "MJ12bot/v1.0.8 (https://majestic12.co.uk/bot.php?+)".
Seine IP-Adresse: 200.106.108.148

Schlägt bei mir auch mit anderen Versionen und IPs unter Mißachtung der robots.txt auf, deshalb macht eine IP-Sperre wenig Sinn. Ich empfehle dringend MJ12bot generell zu sperren, egal wer sich dahinter verbirgt.

Beitrag von **Keyser Soze** » 23.12.2007, 23:14

Selbst die nicht bösartigen Versionen dieses Bots haben keinen festen IP-Bereich, weil das Prinzip von Majestic12 darauf basiert, dass das Crawling verteilt erfolgt.
Ich habe dieses Viech auch schon lange per htaccess und UserAgent-Regel geblockt.

Beitrag von **everflux** » 24.12.2007, 11:26

*grummel* zwei Stunden 6 mbit Traffic von dem mistbot gehabt, der arme webserver.

85.96.49.144 - - [24/Dec/2007:03:47:59 +0100] "GET ... HTTP/1.1" 200 45678 "-" "MJ12bot/v1.0.8 (https://majestic12.co.uk/bot.php?+)"

Auf der Majestic seite wird dazu geschrieben, dass es nicht deren bot ist und einige Tipps was man gegen diese fake bots machen kann.
Ich werds mal testen.

Beitrag von **unknownsoul** » 27.12.2007, 23:04

Ja diese Version: MJ12bot/v1.0.8 aussperren. Ist ein Fake.