Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Über die Harvester/Bots

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
everflux
PostRank 8
PostRank 8
Beiträge: 939
Registriert: 01.05.2006, 17:15

Beitrag von everflux » 30.01.2008, 17:23

Hallo,
bei mir häufen sich seit rund zwei Wochen Zugriffe von den verschiedensten Providern der Welt (aber hauptsächlich dial-up), die unmengen Seitenabrufe machen. Dabei werden dann "normale" Useragents als Identifizierung versendet.
Wer kann mir dazu mehr sagen (und tut es auch)?
Vor allem folgende Fragen interessieren mich
- Gibt es einige wenige große Bots oder baut sich jeder selber einen Schrott zusammen (a la Spidering Hacks von O'Reilly)
- Sind das Anwendungen die auf den Rechnern der echten "Täter" laufen, oder läuft sowas per botnet auf gekaperten Maschinen?
- Was machen die mit dem ganzen Content (ich habe bei den betroffenen Seiten noch keine Mirror Seiten entdeckt)
- Hat jemand so einen Harvester schonmal in die Hände bekommen?
- Ist es notwendig etwas gegen diese Bots zu unternehmen (außer unter Last und Traffikgesichtspunkten)

Ich würde mich sehr über Antworten freuen und kann gerne eigene Logs oder ähnliches beisteuern falls das etwas hilft.
https://everflux.de/ blogging about life, programming, seo and the net

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Airport1
PostRank 10
PostRank 10
Beiträge: 4489
Registriert: 16.08.2004, 18:50
Wohnort: Backnang / bei Stuttgart

Beitrag von Airport1 » 30.01.2008, 20:14

nur (freche) vermutungen:
1. jeder denkt er ist so goettlich toll und hat DIE millionaers-idee die noch nie ein anderer vor ihm hatte, dass er unbedingt seinen schrott selber zusammenbauen muss.
2. sowohl als auch, mich wuerde aber nich wundern wenn die dinge teilweise unter falschem namen laufen (z.b. grid computing fuer irgendwas nobles.., domain grabbing fuer den heiligen gral..)
3. wahrscheinlich kriegen sie es nicht auf die reihe, und es wandert dann doch nur in den muell.
4. das waere schoen, aber dazu muss man in die "dunklen kreise" einsteigen.
5. das kommt wohl immer drauf an, ob man was dagegen tun will. hier koennten sachen helfen wie ddos.sh , apf, iptables. damit kann man schon mal begrenzen wieviele connections in welcher zeitspanne erlaubt sind..
Linktauschanfragen zwecklos
https://www.bot-trap.de/ Spamschutz fuer Webmaster - zentrale Meldestelle fuer Web Spam
https://www.airport1.de/blog/ Lombagruschd Blog mid Gardadierle
https://www.ranking-hits.de/ Counter & PR Service

everflux
PostRank 8
PostRank 8
Beiträge: 939
Registriert: 01.05.2006, 17:15

Beitrag von everflux » 30.01.2008, 20:31

Oh ich würd mir auch die Hände schmutzig machen - ich weiß nur nicht wie.
https://everflux.de/ blogging about life, programming, seo and the net