Bot Attacke - Hilfe !

Beitrag von **ckl** » 20.10.2005, 19:30

Mir besorgt ein Crawler seit 48 Stunden enormen Traffic.
Meine HP ist so ca. mit allem drum und drann 40MB groß

Dieser Crawler hat mir in den letzten 48 Stunden 110MB Traffic besorgt !!!!

IP:212.34.175.72
"FAST Enterprise Crawler 6 used by Crawler GonzoP1 DE (crawleradmin.t-info@telekom.de)"

IP: 84.167.60.130
"gonzo2[D] mailto:crawleradmin.t-info@telekom.de"

Was geht denn da ab?

Ich kann mir nicht vorstellen, daß das die TKOM ist, oder doch?
Was kann ich machen und vor allem wie
Ist das ein böser Bot?

Da gibt es doch gar nicht. Hab wieder in meine Logs geschaut. Nun verprasst mir dieser Bot schon 150MB.
Der hat sich bei mir eingenisstet !!! Hilfe

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **bull** » 20.10.2005, 19:35

Die erste IP ist von der Telekom.

Siehe auch:
https://www.abakus-internet-marketing.d ... 16400.html
https://www.abakus-internet-marketing.d ... 28042.html

Beitrag von **ckl** » 20.10.2005, 19:42

Sorry, daß ich falsch gepostet habe und vielen Dank für Deine Antwort.
Aber weshalb crawled der Bot sich von oben nach unten um dann wieder von oben zu beginnen

Wie schon gesagt eine kleine HP mit 40 MB.
Nun hat er schon 150 MB Traffic verursacht. Kann es sein, daß dieser einen wenig balaballa ist.

Beitrag von **Chris2005** » 20.10.2005, 20:21

Aussperren... eh nur contenklau oder spam...

Beitrag von **ckl** » 20.10.2005, 20:57

"FAST Enterprise Crawler 6 used by Crawler GonzoP1 DE (crawleradmin.t-info@telekom.de)" IP: 212.34.175.72

"gonzo2[D] mailto:crawleradmin.t-info@telekom.de" IP: 84.167.60.130

Wie muß ich das jetzt genau in die .htaccess schreiben?

Passt da so ?????????

RewriteCond %{HTTP_USER_AGENT} ^FAST\ Enterprise\ Crawler6 [NC]
RewriteCond %{HTTP_USER_AGENT} ^gonzo2 [NC]

Also wenn ich mir die Statistik anschaue wird es mir ganz übel. Der geht einfach nicht mehr weg.

Beitrag von **Chris2005** » 20.10.2005, 21:00

pack noch ein [OR] hinter die erste Anweisung... Die RewriteRule fehlt auch noch, aber die hast Du wahrscheinlich schon drin...

Ich wuerde die erste Anweisung in

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; crawler &#91;NC,OR&#93;

aendern. Ist universeller und faengt direkt den ganzen Gammel ein, der "Crawler" im UA hat.

Chris

Beitrag von **ckl** » 20.10.2005, 21:07

So sieht sie derzeit aus:

RewriteEngine on
RewriteCond %{HTTP_HOST} !^www\.meineHP\.de
RewriteCond %{HTTP_HOST} !^$
RewriteRule ^(.*)$ https://www.meineHP.de/$1 [L,R=301]

Dann so - ist das OK ???

RewriteEngine on
RewriteCond %{HTTP_HOST} !^www\.meineHP\.de
RewriteCond %{HTTP_HOST} !^$
RewriteRule ^(.*)$ https://www.meineHP.de/$1 [L,R=301]
RewriteCond %{HTTP_USER_AGENT} crawler [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FAST\ Enterprise\ Crawler6 [NC]
RewriteCond %{HTTP_USER_AGENT} ^gonzo2 [NC]

Da habe ich null Plan

Beitrag von **ckl** » 20.10.2005, 22:12

Hilfe !!!!! So funzt das nicht !!!! Der Bot hält sich nachwievor bei mir auf !!!!
Traffic ohne Ende. Was mache ich falsch ??

Beitrag von **bull** » 20.10.2005, 22:19

RewriteEngine on
RewriteCond %{HTTP_HOST} !^www\.meineHP\.de
RewriteCond %{HTTP_HOST} !^$
RewriteRule ^(.*)$ https://www.meineHP.de/$1 [L,R=301]

RewriteCond %{HTTP_USER_AGENT} crawler [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^FAST\ Enterprise\ Crawler6 [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^gonzo2
RewriteRule .* - [F]

Beitrag von **ckl** » 20.10.2005, 22:25

Hallo, das geht so nicht. Der kommt im Minutentakt

Der Agent: FAST Enterprise Crawler 6 used by Crawler GonzoP1 DE (crawleradmin.t-info@telekom.de)

Der hält sich nun kontinuirlich seit Stunden bei mir auf. Zugriffe im Sekundentakt !!!!!!!!!!!!!!!!!!

Beitrag von **bull** » 20.10.2005, 22:28

RewriteCond %{HTTP_USER_AGENT} ^FAST\ Enterprise\ Crawler\ 6 [NC]
RewriteRule .* - [F]

Leerzeichen vergessen gehabt

Beitrag von **ckl** » 20.10.2005, 22:35

Immer noch da

Was geht da ab ?

Ich habe das so exakt reinkopiert

Beitrag von **Ice Man** » 20.10.2005, 22:41

dann sperr die IP
Ist zwar nicht die beste Lösung, aber es hilft.

Bedenke aber, das selbst das in den Logs auftaucht, da er immer noch versucht zu Crawlern

Aus demgrund schicke ich solche immer nach 127.0.0.0

Sollen doch bei sich suchen

Beitrag von **ckl** » 20.10.2005, 22:44

Wie IP sperren, sorry ist gar nicht mein Gebiet

Na toll, jetziger Stand 10864 Zugriffe. Im Sekundentakt werden es mehr