Privater Crawler?

Beitrag von **S0l0ng** » 18.03.2009, 18:23

Guten Abend,

hab mal eine kurze Frage an euch. Ich hab ein WBB Forum und komme gerade nach Hause und da trifft mich der Schlag. über 1000% mehr Besucher. Ein Blick in die "Wer ist Online" Liste zeigt mir zich mal die gleiche IP (Telekom Nutzer) und als Browserkennung:

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET)

EDIT: gleiche IP:

Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; InfoPath.1)

Das Verhalten weist einen Crawl aus - also die Seite wird systematisch abgetastet. Kann es sein das dies eine Suchmaschine ist oder spiegelt sich da ein privater User mein Forum?

Grüße

von **Anzeige von ABAKUS** »

Beitrag von **Pompom** » 18.03.2009, 18:24

mehr oder.

Beitrag von **JohnBi** » 18.03.2009, 18:27

Jo, kann gut sein das sich jemand (der User-Agent lässt darauf schließen) dein Forum spiegelt mit irgeneinem Tool und dazu eben nen Crawler nutzt.

Beitrag von **mojo** » 18.03.2009, 18:29

Ein whois auf die IP und/oder eine Google Abfrage helfen da oft weiter. Oder durchforste mal deine Logfiles ob auch durch robots.txt geblockte Seiten indiziert wurden ...

In deinem speziellen Fall mit 1000% mehr Besucher hört sich das aber nach einem sehr aggressiven Crawler an, mal angenommen, dass du normalerweise nicht nur 10 Besucher auf der Seite hast

... was du dagegen machen kannst? Ich würde die IP zB per Firewall blocken und dem Provider melden.

Beitrag von **S0l0ng** » 18.03.2009, 18:35

hab nochmal zwei browserkennungen unter gleicher IP gefunden (in den beitrag reineditiert) die en-US ist doch komisch oder?

Beitrag von **S0l0ng** » 18.03.2009, 18:41

mojo hat geschrieben: Ich würde die IP zB per Firewall blocken und dem Provider melden.

Ich hab sie per .htaccess geblockt; wieso dem Provider melden? Was unternimmt denn T-Online gegen den Nutzer?

Beitrag von **JohnBi** » 18.03.2009, 18:43

S0l0ng hat geschrieben:
mojo hat geschrieben: Ich würde die IP zB per Firewall blocken und dem Provider melden.
Ich hab sie per .htaccess geblockt; wieso dem Provider melden? Was unternimmt denn T-Online gegen den Nutzer?

Das mit dem Provider melden versteh ich auch nicht ganz, das kannste knicken und warum sollten die was gegen den unternehmen?

Beitrag von **mojo** » 18.03.2009, 19:04

Auch den Providern ist es nicht egal wenn einer ihrer User Schindluder treibt - gut wenn es ein Einzelfall ist wird der Provider wohl nichts unternehmen, doch möglicherweise gab es schon vorher Beschwerden über diese IP ... zwischen aggressivem Crawling und DOS-Attacken ist oft nicht viel Unterschied.

Die IP aussperren ist aber sicher (vorerst) die beste Maßnahme

Beitrag von **S0l0ng** » 18.03.2009, 20:55

und was ist davon zu halten?

Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7

Browsersprache englisch, oder? Vielleicht tatsächlich ein Hacker der eine deutsche IP nutzt?

Beitrag von **JohnBi** » 18.03.2009, 20:59

Da gibt es tausend Vermutungen, haste mal gecheckt wem die IP gehört?

Hat ein amerikanischer Hacker mit deutscher IP einen Grund dich zu hacken?

Wir können hier stundenland Vermutungen äußern, das einzig richtige ist die IP zu blocken und zu schauen ob er wieder kommt mit ner neuen IP

Beitrag von **S0l0ng** » 18.03.2009, 21:07

JohnBi hat geschrieben:Da gibt es tausend Vermutungen, haste mal gecheckt wem die IP gehört?

Hat ein amerikanischer Hacker mit deutscher IP einen Grund dich zu hacken?

Wir können hier stundenland Vermutungen äußern, das einzig richtige ist die IP zu blocken und zu schauen ob er wieder kommt mit ner neuen IP

% This is the RIPE Whois query server #2.
% The objects are in RPSL format.
%
% Rights restricted by copyright.
% See https://www.ripe.net/db/copyright.html

% Note: This output has been filtered.
% To receive output for a database update, use the "-B" flag

% Information related to '87.140.224.0 - 87.159.255.255'

inetnum: 87.140.224.0 - 87.159.255.255
netname: DTAG-DIAL26
descr: Deutsche Telekom AG
country: DE
admin-c: DTIP
tech-c: DTST
remarks: ******************************************************************
remarks: * Abuse Contact: https://www.t-com.de/ip-abuse in case of Spam, *
remarks: * Hack Attacks, Illegal Activity, Violation, Scans, Probes, etc. *
remarks: ******************************************************************
status: ASSIGNED PA "status:" definitions
mnt-by: DTAG-NIC
source: RIPE # Filtered

person: DTAG Global IP-Addressing
address: Deutsche Telekom AG
address: D-90492 Nuernberg
address: Germany
phone: +49 180 5334332
fax-no: +49 180 5334252
e-mail: ripe.dtip@telekom.de
nic-hdl: DTIP
mnt-by: DTAG-NIC
source: RIPE # Filtered

person: Security Team
address: Deutsche Telekom AG
address: Germany
phone: +49 180 5334332
fax-no: +49 180 5334252
e-mail: abuse@t-ipnet.de
nic-hdl: DTST
mnt-by: DTAG-NIC
source: RIPE # Filtered

% Information related to '87.128.0.0/11AS3320'

route: 87.128.0.0/11
descr: Deutsche Telekom AG, Internet service provider
origin: AS3320
member-of: AS3320:RS-PA-TELEKOM
mnt-by: DTAG-RR
source: RIPE # Filtered

% Information related to '87.128.0.0/10AS3320'

route: 87.128.0.0/10
descr: Deutsche Telekom AG, Internet service provider
origin: AS3320
member-of: AS3320:RS-PA-TELEKOM
mnt-by: DTAG-RR
source: RIPE # Filtered

Ich hab die IP jetzt mal gesperrt. Diese IP war heute Morgen auch mal für 1-2 Stunden (auch mit Crawler Aktivitäten online). Dann war ab 10.45 Uhr Mittagspause bis ca 17 uhr

Beitrag von **JohnBi** » 18.03.2009, 21:09

jo, wenn das mit dem nicht aufhört

remarks: ******************************************************************
remarks: * Abuse Contact: https://www.t-com.de/ip-abuse in case of Spam, *
remarks: * Hack Attacks, Illegal Activity, Violation, Scans, Probes, etc. *
remarks: ******************************************************************

anschreiben und Vorfall schildern, vielleicht unternehmen die was ...

Beitrag von **Vegas** » 18.03.2009, 21:15

In Zweifelsfall jemand der sich irgendein Programm aus dem Netz geladen hat und ohne Sinn, Plan und Verstand mal laufen läßt...ich vermute viel eher irgendeinen unerfahrenen User mit der falschen Software in Händen als einen Hacker.

Beitrag von **Logge** » 18.03.2009, 23:27

Ich weiß ja nicht, was so schlimm daran sein soll, wenn sich ein User ein Webprojekt saugt. Habe ich bei interessanten Inhalten, die ich für mich archivieren wollte auch schon gemacht. Solange mit den gesammelten Daten kein Schindluder getrieben wird sehe ich da keine Probleme. Das Netz ist eine öffentliche Ressource.

Beitrag von **babez** » 18.03.2009, 23:43

stimmt es gab doch mal den "grossenBildersauger" - der hat automatisch alle Bilder einer Webseite runtergeladen...