Massenweise robots.txt-Abfragen/Sek von verschiedenen IPs

Beitrag von **Georgi** » 11.05.2006, 12:15

Hallo Forum,

ich habe gerade massenweise Abrufe nur der "/robots.txt" von verschiedensten IPs aber immer mit dem selben User-Agent:

156.56.103.62 - - [11/May/2006:13:03:04 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-" "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.7.10) Gecko/20050720 Fedora/1.0.6-1.1.fc3 Firefox/1.0.6"

Die Abrufe (User-Agent rausgenommen), welche teilweise im unter-Sekunden-Takt kommen:

156.56.103.62 - - [11/May/2006:13:03:04 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
156.56.103.61 - - [11/May/2006:13:03:04 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
141.161.20.33 - - [11/May/2006:13:03:44 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
138.100.12.148 - - [11/May/2006:13:04:15 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
138.100.12.149 - - [11/May/2006:13:04:16 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
216.165.109.79 - - [11/May/2006:13:04:18 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
216.165.109.81 - - [11/May/2006:13:04:18 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
216.165.109.82 - - [11/May/2006:13:04:20 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
141.161.20.32 - - [11/May/2006:13:04:21 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
199.77.128.193 - - [11/May/2006:13:05:13 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
199.77.128.194 - - [11/May/2006:13:05:14 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.31.1.13 - - [11/May/2006:13:05:48 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.31.1.16 - - [11/May/2006:13:05:48 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.31.1.14 - - [11/May/2006:13:05:48 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.31.1.12 - - [11/May/2006:13:05:48 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.31.1.11 - - [11/May/2006:13:05:48 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.31.1.15 - - [11/May/2006:13:05:49 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
138.23.204.232 - - [11/May/2006:13:05:53 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
138.23.204.133 - - [11/May/2006:13:05:54 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
130.245.145.150 - - [11/May/2006:13:06:17 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
130.245.145.152 - - [11/May/2006:13:06:17 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
152.3.138.3 - - [11/May/2006:13:07:03 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
152.3.138.2 - - [11/May/2006:13:07:04 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.83.122.181 - - [11/May/2006:13:07:14 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
128.83.122.180 - - [11/May/2006:13:07:14 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
169.229.50.10 - - [11/May/2006:13:07:21 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
169.229.50.8 - - [11/May/2006:13:07:21 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
169.229.50.13 - - [11/May/2006:13:07:21 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
12.46.129.21 - - [11/May/2006:13:07:21 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
12.46.129.23 - - [11/May/2006:13:07:21 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
169.229.50.17 - - [11/May/2006:13:07:22 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
12.46.129.22 - - [11/May/2006:13:07:22 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
169.229.50.16 - - [11/May/2006:13:07:23 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"
169.229.50.12 - - [11/May/2006:13:07:24 +0200] "GET /robots.txt HTTP/1.1" 200 0 "-"

Kann sich jemand darauf einen Reim machen?

Vodka, Georgi

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **thetrasher** » 11.05.2006, 14:29

Ein verteilter Uni-Crawler mit dem berüchtigten 0-Byte-Längenbug?

Den Bug hatte der IRLbot auch - nur dass damals der Crawler nicht weiter spiderte (Botrechner abgestürzt?

).

Wenn der Bot zu aufdringlich wird, schreib ein Byte (z. B. 0x0A, 0x04 oder auch Glockenläuten mit 0x07

) in die robots.txt und warte ab was dann passiert.

Leute mit zu viel Zeit können alle betroffenen Uni-Rechenzentren anschreiben.

Beitrag von **Georgi** » 11.05.2006, 14:50

Hmm, thx thetrasher,

das könnte durchaus Sinn machen ;- ) - zumal ja einige Uni-Seiten unter den Spidern sind. Ach ja, die spidern immer noch und ich habe jetzt mal ein <space> reingeschrieben...

Vodka, Georgi

Update:

Und prompt kam der Googlebot vorbei:

66.249.66.209 - - [11/May/2006:15:52:30 +0200] "GET /robots.txt HTTP/1.1" 200 2 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)"

Ich hoffe der verschluckt sich jetzt nicht an dem Freizeichen auf der anderen Leitung

Beitrag von **Georgi** » 14.05.2006, 05:04

Update:

Obwohl sie schon vorher seltener geworden sind, sind die Bots nach dem Einfügen eines Leerzeichens heute das erste mal ausgeblieben. Das könnte man, nach dem massiven Auftreten zuvor, praktisch als sicheres Zeichen werten, dass da wirklich ein "zero-filesize-problem" bei irgendwelchen "Unibots" existiert hat.

Vielen Dank thetrasher, Du hast die Logs von mir wirklich gut gelesen... ;- )

Vodka, Georgi

Edit: Woher wusstest Du... ?