flpro, wget, pavuk und nun FindLinks
Verfasst: 21.05.2004, 07:19
Hallo,
seit ein paar Monaten kommt es auf meiner Seite, die im Prinzip ein kleines Script ist, das Teile des Dmoz-Dump aus einer Sql-Datenbank mit mod_rewrite holt, zu hohem Traffic.
Es fing an mit flpro, dann wget und dann pavuk. Die hab ich nach und nach gesperrt. Auch eine bestimmte IP der informatik.uni-leipzig.de und auch eine bestimmte IP der informatik.RWTH-Aachen.DE. Heute merkte ich das nun findlinks mit einer anderen IP der uni leipzig verwendet wurde, sperrte diesen neuen bot und sämtliche IP’s der beiden uni’s.
Merkwürdig bei dem Logfile ist, das “Seitenname-400.html” zu einem anderen Projekt (phpnuke+mod_rewirte) gehört, das bei mir auf dem Server liegt, jedoch unter einer anderen Domain läuft.
Kann mir jemand sagen, was diese Bot’s auf meinen Seiten machen? Dieser Bot macht mir doppelt bis dreifach so hohe Aufrufe.
Viele Grüße und Dank
Const
seit ein paar Monaten kommt es auf meiner Seite, die im Prinzip ein kleines Script ist, das Teile des Dmoz-Dump aus einer Sql-Datenbank mit mod_rewrite holt, zu hohem Traffic.
Es fing an mit flpro, dann wget und dann pavuk. Die hab ich nach und nach gesperrt. Auch eine bestimmte IP der informatik.uni-leipzig.de und auch eine bestimmte IP der informatik.RWTH-Aachen.DE. Heute merkte ich das nun findlinks mit einer anderen IP der uni leipzig verwendet wurde, sperrte diesen neuen bot und sämtliche IP’s der beiden uni’s.
Code: Alles auswählen
********* - - [20/May/2004:01:22:56 +0200] "GET /World/Nederlands/Onderwijs/Seitename-400.html HTTP/1.1" 200 7023 *******.de:80 "-" "FindLinks" "-"Kann mir jemand sagen, was diese Bot’s auf meinen Seiten machen? Dieser Bot macht mir doppelt bis dreifach so hohe Aufrufe.
Viele Grüße und Dank
Const
