ThumbShots-Bot

Hallo

Dieses Biest treibt sein Unwesen mit diversen Einwahl-IP's derzeit sind es noch ausschliesslich die der Telekomiker.
Was macht der? Er liest die robots.txt und fragt so um Erlaubnis ob er denn einen ThumbShot machen darf. Der Browser, der wo zum Bilder-Knipsen gebraucht wird kommt direkt hinterher. Gleiche IP aber Kennung eines FF.
Zum Aussperren reicht in der robots.txt ein Useragent der das Wort thumbshot enthält, wer thumbshots.de geblockt hat sperrt den Burschen mit aus. Der Stern * greift natürlich auch, sprich wenn der Bot nichts anderes findet fühlt er sich dadurch angesprochen. Auf Wunsch bringe ich ihm noch das Wort KFSW bei, wenn Ihr es für sinnvoll haltet.
IP's zum Sperren gibt es diesmal leider nicht, das System wird so laufen wie Seti@Home

Gruss
Kristian

Alleridngs finde ich eine Seite, die Suchergebnisse mit Screenshots der Seiten ausgibt nicht schlehct.

Oder übertreibt thumbshot es mit der Spiderei öfters (hab den bisher noch nicht gesichtet)?

Hallo

shadaik hat geschrieben:Alleridngs finde ich eine Seite, die Suchergebnisse mit Screenshots der Seiten ausgibt nicht schlehct.
Oder übertreibt thumbshot es mit der Spiderei öfters (hab den bisher noch nicht gesichtet)?

Ich hoffe, dass er es nicht übertreibt, das wäre ein Fehler / Bug im Programm.
Die Realität ist eher, dass es schwer ist die Masse der Seiten, die er machen soll zu bewältigen.
Derzeit - über meine Leitung laufen gerade zwei Instanzen des Progs - sind das pro Tag max. 10.000 Seiten.
In der DB haben wir gerade 1,7 Mio Seiten / ThumbShots.
Rechne das mal hoch und vergleiche es mal mit der Zahl im Google-Index.


Gruss
Kristian