www.majestic12.co.uk/bot.php

[Ice Man]

Nachdem das Teil bei mir Tagelang gewütet hatte, hab ich es vor gut einer woche gesperrt.

Trotzdem sind die Hanseln jeden Tag wieder da.
Gester waren über 1000 Einträge von dem im Logfile, obwohl der seit über 14 Tage per .htaccess gesperrt ist.

Er bekommt seit dem einen "403".
Wieso kommt der Schmock dennoch immer wieder vorbei ?
Der muss doch gemerkt haben, das er nicht erwünscht ist.

[bennos]

offenbar ein dummer Bot.

Mach dir doch ein Spass draus und leite ihn auf was witziges wie


DU bist ein DUMMER BOT, DU bist raus!

bischen spass muss sein.
bennos

[bull]

Liegt wohl an der Architektur. Werden vielleicht nicht alle Nodes wissen. Siehe auch https://www.abakus-internet-marketing.d ... 10499.html u.a.

[seonewbie]

Frag mal deinen Hoster ob der den Bot nicht
gleich am RZ router aussperren kann.
Für deine IP oder gleich fürs ganze RZ
braucht ja niemand das Teil.

Gruß

Micha

[GreenHorn]

Frag mal deinen Hoster ob der den Bot nicht
gleich am RZ router aussperren kann.

Warum? Ein Eintag in die .htaccess macht keinen Server müde.

[Xsnoopy]

Hast du dir mal die https://www.majestic12.co.uk/projects/d ... j12bot.php angeschaut?
Der Bot befolgt nämlich die Robots.txt. Da kannst du auch den Crawl-Delay-Parameter nutzen.
Ist das so schwer da mal nach zu schauen?

[GreenHorn]

Ist das so schwer da mal nach zu schauen?

Ne ist nicht schwer, spar mir die Mühe. Das Teil bringt mir keinen effektiven Nutzen und rechtfertigt keinen weiteren Arbeitsaufwand meinerseits. (Internet ist Geben und Nehmen.)

403 und gut ist.

[Xsnoopy]

Ja, stimmt wohl. Wobei du dir ja mal https://www.majesticseo.com/ anschauen kannst, vielleicht bringt dir das SEO Tool was, welches die gecrawlten Daten mitnutzt.