Download von Websites erkennen und verhindern?

[Airport1]

Ihr kennt ja alle diese Tools wie wget, getright usw. um sich Websites komplett herunterzuladen.

Was tut ihr dagegen? Ein UA Check hilft nur solange bis der Sauger seinen UA auf einen 0815 Browser aendert.

Wie also kann man den Download von Websites erkennen und verhindern?

Gibt es hierfuer schon fertige und freie Tools (gefunden habe ich nix), oder muss auch dieses Rad wieder quasi neu erfunden werden?

Wie koennte man sowas erkennen? Z.B. pro IP in einer Session sammeln bzw. merken wieviele Seiten innerhalb welcher Zeit aufgerufen wurde und wenn das Verhaeltnis nimmer stimmt, sperren?

[Nullpointer]

hab da auch so'n kandidaten, der versucht mich am regelmässigen saugen zu hindern. am anfang ganz billig über ua dann über die seitenaufrufe.
hab ich mein tool hat so umgeschriben, dass es nur noch alle n sekunden eine seite holt.
das ding läuft eh als cronjob nachts, da ist es mir egal, ob ich 5 oder 50 minuten brauche, bis die seite da ist.

[Airport1]

Oller Leecher

Nuja, aber es muss doch sowas schon geben was das Gesauge verhindert, egal welche IP und welcher UA, es muss selbststaendig erkennen koennen: aha, da saugt mich jemand aus. Eine Gefahr seh ich nur darin dass man zumindest Google , vorausladende Handies und Browser die vorausladen besonders behandelt muesste, da sie "dem Anschein nach" ja auch "saugen"..

Heute wurde bspw. versucht eine Website ueber
85.25.133.168 = alpha928.server4you.de
versucht zu saugen. Wie bekomm ich denn nun raus,
wer darauf welche Domains hosted?

[Southmedia]

Gegen die üblichen Tools reicht es meist die Aufrufe pro IP auf eine bestimmte Anzahl pro Minute zu limitieren. Danach einfach einen 503 oder direkt 404 liefern. Allerdings insofern gefährlich, da die Suchmaschinenbots auch in dieses Schema passen.