Seite 1 von 2
Privater Crawler?
Verfasst: 18.03.2009, 18:23
von S0l0ng
Guten Abend,
hab mal eine kurze Frage an euch. Ich hab ein WBB Forum und komme gerade nach Hause und da trifft mich der Schlag. über 1000% mehr Besucher. Ein Blick in die "Wer ist Online" Liste zeigt mir zich mal die gleiche IP (Telekom Nutzer) und als Browserkennung:
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET)
EDIT: gleiche IP:
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7
Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; InfoPath.1)
Das Verhalten weist einen Crawl aus - also die Seite wird systematisch abgetastet. Kann es sein das dies eine Suchmaschine ist oder spiegelt sich da ein privater User mein Forum?
Grüße
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 18.03.2009, 18:24
von Pompom
mehr oder.
Verfasst: 18.03.2009, 18:27
von JohnBi
Jo, kann gut sein das sich jemand (der User-Agent lässt darauf schließen) dein Forum spiegelt mit irgeneinem Tool und dazu eben nen Crawler nutzt.
Verfasst: 18.03.2009, 18:29
von mojo
Ein whois auf die IP und/oder eine Google Abfrage helfen da oft weiter. Oder durchforste mal deine Logfiles ob auch durch robots.txt geblockte Seiten indiziert wurden ...
In deinem speziellen Fall mit 1000% mehr Besucher hört sich das aber nach einem sehr aggressiven Crawler an, mal angenommen, dass du normalerweise nicht nur 10 Besucher auf der Seite hast

... was du dagegen machen kannst? Ich würde die IP zB per Firewall blocken und dem Provider melden.
Verfasst: 18.03.2009, 18:35
von S0l0ng
hab nochmal zwei browserkennungen unter gleicher IP gefunden (in den beitrag reineditiert) die en-US ist doch komisch oder?
Verfasst: 18.03.2009, 18:41
von S0l0ng
mojo hat geschrieben: Ich würde die IP zB per Firewall blocken und dem Provider melden.
Ich hab sie per .htaccess geblockt; wieso dem Provider melden? Was unternimmt denn T-Online gegen den Nutzer?
Verfasst: 18.03.2009, 18:43
von JohnBi
S0l0ng hat geschrieben:mojo hat geschrieben: Ich würde die IP zB per Firewall blocken und dem Provider melden.
Ich hab sie per .htaccess geblockt; wieso dem Provider melden? Was unternimmt denn T-Online gegen den Nutzer?
Das mit dem Provider melden versteh ich auch nicht ganz, das kannste knicken und warum sollten die was gegen den unternehmen?
Verfasst: 18.03.2009, 19:04
von mojo
Auch den Providern ist es nicht egal wenn einer ihrer User Schindluder treibt - gut wenn es ein Einzelfall ist wird der Provider wohl nichts unternehmen, doch möglicherweise gab es schon vorher Beschwerden über diese IP ... zwischen aggressivem Crawling und DOS-Attacken ist oft nicht viel Unterschied.
Die IP aussperren ist aber sicher (vorerst) die beste Maßnahme
Verfasst: 18.03.2009, 20:55
von S0l0ng
und was ist davon zu halten?
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.0.7) Gecko/20060909 Firefox/1.5.0.7
Browsersprache englisch, oder? Vielleicht tatsächlich ein Hacker der eine deutsche IP nutzt?
Verfasst: 18.03.2009, 20:59
von JohnBi
Da gibt es tausend Vermutungen, haste mal gecheckt wem die IP gehört?
Hat ein amerikanischer Hacker mit deutscher IP einen Grund dich zu hacken?
Wir können hier stundenland Vermutungen äußern, das einzig richtige ist die IP zu blocken und zu schauen ob er wieder kommt mit ner neuen IP
Verfasst: 18.03.2009, 21:07
von S0l0ng
JohnBi hat geschrieben:Da gibt es tausend Vermutungen, haste mal gecheckt wem die IP gehört?
Hat ein amerikanischer Hacker mit deutscher IP einen Grund dich zu hacken?
Wir können hier stundenland Vermutungen äußern, das einzig richtige ist die IP zu blocken und zu schauen ob er wieder kommt mit ner neuen IP
% This is the RIPE Whois query server #2.
% The objects are in RPSL format.
%
% Rights restricted by copyright.
% See
https://www.ripe.net/db/copyright.html
% Note: This output has been filtered.
% To receive output for a database update, use the "-B" flag
% Information related to '87.140.224.0 - 87.159.255.255'
inetnum: 87.140.224.0 - 87.159.255.255
netname: DTAG-DIAL26
descr: Deutsche Telekom AG
country: DE
admin-c: DTIP
tech-c: DTST
remarks: ******************************************************************
remarks: * Abuse Contact:
https://www.t-com.de/ip-abuse in case of Spam, *
remarks: * Hack Attacks, Illegal Activity, Violation, Scans, Probes, etc. *
remarks: ******************************************************************
status: ASSIGNED PA "status:" definitions
mnt-by: DTAG-NIC
source: RIPE # Filtered
person: DTAG Global IP-Addressing
address: Deutsche Telekom AG
address: D-90492 Nuernberg
address: Germany
phone: +49 180 5334332
fax-no: +49 180 5334252
e-mail:
ripe.dtip@telekom.de
nic-hdl: DTIP
mnt-by: DTAG-NIC
source: RIPE # Filtered
person: Security Team
address: Deutsche Telekom AG
address: Germany
phone: +49 180 5334332
fax-no: +49 180 5334252
e-mail:
abuse@t-ipnet.de
nic-hdl: DTST
mnt-by: DTAG-NIC
source: RIPE # Filtered
% Information related to '87.128.0.0/11AS3320'
route: 87.128.0.0/11
descr: Deutsche Telekom AG, Internet service provider
origin: AS3320
member-of: AS3320:RS-PA-TELEKOM
mnt-by: DTAG-RR
source: RIPE # Filtered
% Information related to '87.128.0.0/10AS3320'
route: 87.128.0.0/10
descr: Deutsche Telekom AG, Internet service provider
origin: AS3320
member-of: AS3320:RS-PA-TELEKOM
mnt-by: DTAG-RR
source: RIPE # Filtered
Ich hab die IP jetzt mal gesperrt. Diese IP war heute Morgen auch mal für 1-2 Stunden (auch mit Crawler Aktivitäten online). Dann war ab 10.45 Uhr Mittagspause bis ca 17 uhr

Verfasst: 18.03.2009, 21:09
von JohnBi
jo, wenn das mit dem nicht aufhört
remarks: ******************************************************************
remarks: * Abuse Contact:
https://www.t-com.de/ip-abuse in case of Spam, *
remarks: * Hack Attacks, Illegal Activity, Violation, Scans, Probes, etc. *
remarks: ******************************************************************
anschreiben und Vorfall schildern, vielleicht unternehmen die was ...
Verfasst: 18.03.2009, 21:15
von Vegas
In Zweifelsfall jemand der sich irgendein Programm aus dem Netz geladen hat und ohne Sinn, Plan und Verstand mal laufen läßt...ich vermute viel eher irgendeinen unerfahrenen User mit der falschen Software in Händen als einen Hacker.
Verfasst: 18.03.2009, 23:27
von Logge
Ich weiß ja nicht, was so schlimm daran sein soll, wenn sich ein User ein Webprojekt saugt. Habe ich bei interessanten Inhalten, die ich für mich archivieren wollte auch schon gemacht. Solange mit den gesammelten Daten kein Schindluder getrieben wird sehe ich da keine Probleme. Das Netz ist eine öffentliche Ressource.
Verfasst: 18.03.2009, 23:43
von babez
stimmt es gab doch mal den "grossenBildersauger" - der hat automatisch alle Bilder einer Webseite runtergeladen...