ABAKUS

Verfasst: **22.11.2005, 11:01**

Ich habe hier einige IPs auf "deny" setzen müssen, die den lieben langen Tag auf meinen Seiten rumgesurft sind. Offensichtlich Bots. Allerdings rufen sie wirklich seit Tagen andauernd nacheinander Seiten von mir ab. Immer wieder die selben. Was meint ihr, sind das schlecht programmierte Harvester, die Amok laufen? IPs teile ich gerne per PN mit.

Edited: Die Bots holen siche zuerst 2x die Serverroot an ("GET /") und holen sich dann direkt nacheinandern die internen Links auf dieser seite. Kennt evtl. jemand dieses Muster?

Schönen dank und Gruß, hans

Verfasst: **22.11.2005, 15:46**

IP? Useragent? Images geladen? JS? Bitte etwas mehr Infos liefern...

Verfasst: **22.11.2005, 15:54**

IPs: 81 223 254 34, 66 132 132 63, 81 169 149 237, 66 36 230 12, 216 65 117 228
UA: "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT)"
Keine JS, keine CSS, keine Bilder...

Und wie gesagt: sie starten immer auf / und arbeiten dann die internen Links der Startseite ab. Und das alle paar Minuten:

66 132 132 63 - - [22/Nov/2005:13:31:33 +0100] "GET / HTTP/1 1" 403 339 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
81 223 254 34 - - [22/Nov/2005:13:32:19 +0100] "GET / HTTP/1 1" 403 336 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 132 132 63 - - [22/Nov/2005:13:35:15 +0100] "GET / HTTP/1 1" 403 349 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 36 230 12 - - [22/Nov/2005:13:36:08 +0100] "GET / HTTP/1 1" 403 352 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 36 230 12 - - [22/Nov/2005:13:36:10 +0100] "GET / HTTP/1 1" 403 343 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
216 65 117 228 - - [22/Nov/2005:13:36:54 +0100] "GET / HTTP/1 1" 403 351 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 36 230 12 - - [22/Nov/2005:13:39:18 +0100] "GET / HTTP/1 1" 403 344 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 132 132 63 - - [22/Nov/2005:13:39:24 +0100] "GET / HTTP/1 1" 403 338 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 132 132 63 - - [22/Nov/2005:13:42:34 +0100] "GET / HTTP/1 1" 403 341 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 36 230 12 - - [22/Nov/2005:13:44:00 +0100] "GET / HTTP/1 1" 403 338 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 132 132 63 - - [22/Nov/2005:13:44:17 +0100] "GET / HTTP/1 1" 403 351 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"
66 36 230 12 - - [22/Nov/2005:13:47:02 +0100] "GET / HTTP/1 1" 403 344 "-" "Mozilla/4 0 (compatible; MSIE 5 01; Windows NT)"

Gruß, Hans

Verfasst: **22.11.2005, 16:08**

Da scheint wohl jemand nen maechtigen Crawler von unterschiedlichen Servern aus zu starten... (USA, DL)

Siehe auch:

https://whois.sc/66.132.132.63
https://whois.sc/216.65.117.228
https://whois.sc/81.169.149.237

Im Endeffekt bleibt Dir da nix uebrig als die IPs weiterhin zu sperren... Oder temporaer den UA sperren. Kann natuerlich sein, dass Du "echte" Nutzer aussperrst, aber auf der anderen Seite: Wer nutzt heute noch Windows NT. Windows XP und Windows 2000 kommen mit anderen UAs.

Verfasst: **22.11.2005, 16:27**

Chris2005 hat geschrieben:Da scheint wohl jemand nen maechtigen Crawler von unterschiedlichen Servern aus zu starten... (USA, DL)

Jupp. Ich glaube ncith, dass ich echte user aussperre, die IPs gehören ja allesamt zu irgendwelchen Servern und nicht zu "öffentlichen" IP-Pools. Ich hab ja im Prinzip auch kein Problem damit, dass mal ein Harvester vorbeikommt (kann man eh nix gegen machen) aber der Junge schickt seine Crawler ja alle paar Minuten vorbei...

schönen Gruß, Hans

ABAKUS

Was ist der Sinn dieser Bots?

Was ist der Sinn dieser Bots?

Was ist der Sinn dieser Bots?

Was ist der Sinn dieser Bots?

Was ist der Sinn dieser Bots?

Re: Was ist der Sinn dieser Bots?