wwwster/1.2 (Beta)

Beitrag von **robo** » 05.08.2004, 20:00

Hi Leute,

kennt jemand diesen Bot und kann mir mehr dazu sagen?

cu, Robo

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **viggen** » 19.08.2004, 12:15

Falls es der ist; wwwster/1.2 (Beta, mailto:gue[at]cis.uni-muenchen.de)

hat er die robots.txt beachtet?
mail doch einfach,

mfg
viggen

Beitrag von **robo** » 19.08.2004, 13:34

viggen hat geschrieben:Falls es der ist; wwwster/1.2 (Beta, mailto:gue[at]cis.uni-muenchen.de)

hat er die robots.txt beachtet?

Hmmm ... hab ich nicht darauf geachtet ... aber er ist es!

Mir geht es um was anderes. Der Spider kam nicht nur von 129.187.254.138 und 129.187.254.139, sondern auch von 81.169.145.11. Diese IP-Adresse gehört zu Strato und ist mir in einem anderen Zusammenhang schon mal unangenehm aufgefallen; über die wurde Content geklaut. Allerdings bin ich erst nicht dahintergekommen, was hinter 81.169.145.11 steckt, bis ich kürzlich die glorreiche Idee hatte, mal nmap auf diese IP loszulassen, und siehe da: Es ist ein Load Balancer!

Code: Alles auswählen

Interesting ports on bigip-fo.rzone.de &#40;81.169.145.11&#41;&#58;
&#40;The 1655 ports scanned but not shown below are in state&#58; closed&#41;
PORT    STATE    SERVICE
22/tcp  open     ssh
389/tcp filtered ldap
683/tcp open     unknown
684/tcp open     unknown
Device type&#58; load balancer
Running&#58; F5 Labs embedded
OS details&#58; F5 Labs BigIp Load balancer Kernel 4.1.1PTF-03 &#40;X86&#41;
Uptime 83.498 days &#40;since Fri May 28 03&#58;22&#58;53 2004&#41;

Das heisst nun, dass der Contentklau wohl von einem bei Strato gehosteten Server ausging und dass wwwster nichts damit zu tun hat. Aber warum bitteschön kommt wwwster über einen Load Balancer von Strato daher?

Wenn mir jemand helfen will, die Geschichte mit dem Contentklau über 81.169.145.11 tiefer zu ergründen, und warum wwwster auch über diese IP zugreift, dann soll er sich melden. Details zum Contentklau möchte ich erst mal nicht veröffentlichen.

cu, Robo

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **bull** » 19.08.2004, 20:08

Würde
deny from 81.169.145.11
machen. Ich glaube nicht, daß uni-muenchen was damit zu tun hat, deren RZ dürfte nicht auf externe load balancer angewiesen sein. Alternativ e-mail an die angegebene Adresse, der Herr ist sehr nett und schnell.

Beitrag von **robo** » 20.08.2004, 00:15

bull hat geschrieben:Würde
deny from 81.169.145.11
machen.

Ich hab's noch viel raffinierter gemacht. Es gibt eine Website, wenn man die aufruft, klaut die den Content in Echtzeit von einer anderen Site (und tritt dabei als 81.169.145.11 auf) und zeigt ihn unter der eigenen URL an. Ich bin auf diese Site gestossen, weil sie im Logfile stand.

Meine Abwehrmassnahme dagegen:

Code: Alles auswählen

RewriteCond %&#123;REMOTE_ADDR&#125; 81.169.145.11
RewriteRule ^.* http&#58;//www.example.com/ &#91;R,L&#93;

Natürlich mit der beklauten Domain anstatt example.com.

bull hat geschrieben:Ich glaube nicht, daß uni-muenchen was damit zu tun hat, deren RZ dürfte nicht auf externe load balancer angewiesen sein. Alternativ e-mail an die angegebene Adresse, der Herr ist sehr nett und schnell.

Hmm ... vielleicht ist der Bot auf die Content-Klau-Site geraten? Das würde die Logfile-Einträge erklären. Allerdings ist die Content-Klau-Seite nirgends verlinkt, ich habe jedenfalls keine Links gefunden. Und deshalb frage ich mih:
1. Was will der Content-Klauer damit bezwecken?
2. Wie findet ein Bot diese Site?

cu, Robo

Beitrag von **mausala** » 18.09.2004, 03:28

Guten Morgen allerseits,

bin soeben auf diesen Post gestossen weil ich auch diesen komischen wwwster/1.2 in meine Logs entdeckt habe und nicht wusste was es ist.

Da ich um Rückverfolgung keine Ahnung habe und hier lese was das für nen Ding das ist mal eben eine Frage, gibt es nicht irgend eine Möglichkeit solche Robots auszusperren? Auch wenn das Ding die Robots.txt nicht beachtet?

Beitrag von **Luckybuy3000** » 18.09.2004, 09:47

Etliche Robots beachten nicht die robots.txt. Beispielsweise auch IBM_Planetwide. wwwster/1.2 hab ich auch in meinen Logs. War überall. Wenn es sich hier tatsächlich um Contenklau handelt, wird der sehr schnell ausgesperrrt per .htacces. Beispielsweise verwende ich für IBM-Planetwide jetzt das:

RewriteCond %{HTTP_USER_AGENT} ^IBM_Planetwide [NC,OR]

Bei wwwster/1.2 bin ich mir allerdings noch nicht sicher, ob er die robots.txt beachtet.

Beitrag von **robo** » 18.09.2004, 10:28

Luckybuy3000 hat geschrieben:Etliche Robots beachten nicht die robots.txt. Beispielsweise auch IBM_Planetwide.

Den kenne ich noch gar nicht. Wo gibt's mehr Infos über diesen Bot?

Luckybuy3000 hat geschrieben:wwwster/1.2 hab ich auch in meinen Logs. War überall. Wenn es sich hier tatsächlich um Contenklau handelt, wird der sehr schnell ausgesperrrt per .htacces.

Nach allem, was ich jetzt weiss, macht wwwster selbst keinen Contentklau, sondern er hat wohl eine andere Website gespidert, die Contentklau macht und ist mir deswegen mit einer verdächtigen IP-Adresse aufgefallen.

Luckybuy3000 hat geschrieben:Bei wwwster/1.2 bin ich mir allerdings noch nicht sicher, ob er die robots.txt beachtet.

Angeblich ja, steht irgendwo in einem anderen Thread hier.

cu, Robo

Beitrag von **bull** » 18.09.2004, 10:32

https://www.abakus-internet-marketing.d ... -6944.html

Beitrag von **Luckybuy3000** » 18.09.2004, 11:47

Zu IBM-Planetwide anscheinend auch ein ziemlicher Traficfresser mit unterschiedlichen IPS:

www.ibm.com/~webmaster/

@ viggen
Datenbank Liste Spiders/Robots/Crawler erweitern und ausbauen wäre ganz nützlich !

Beitrag von **Luckybuy3000** » 22.09.2004, 15:07

wwwster /1.2 ist sehr aktiv auf unseren Seiten. Zuletzt hat er auch die robots.txt beachtet. Wer hat neue Erkenntnisse, was bringts auf Dauer.