ABAKUS

Habe jetzt mal so eine ganz simple Bot-Trap auf einer meiner Domains eingebaut, das Ergebnis sieht bislang wie folgt aus:

14.06.2006 21:21:06 - 213.63.21.45 213-63-21-45.dsl.net.artelecom.pt - Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 6.0)
14.06.2006 22:17:51 - 82.135.148.147 82.135.148.147 - Java/1.4.1_04
15.06.2006 03:21:22 - 203.80.209.253 203080209253.ctinets.com -
15.06.2006 03:30:47 - 65.60.93.50 65-60-93-50-cust.telepacific.net - Java/1.4.1_04
15.06.2006 04:34:14 - 145.253.94.146 145.253.94.146 -
15.06.2006 05:07:55 - 212.222.51.22 212.222.51.22 - eBay Relevance Ad Crawler powered by contentDetection (www.mindup.de)
15.06.2006 07:32:55 - 203.199.72.210 203.199.72.210.static.vsnl.net.in - Java/1.5.0_05
15.06.2006 07:54:27 - 203.199.72.210 203.199.72.210.static.vsnl.net.in - Java/1.5.0_05
15.06.2006 10:19:20 - 58.88.205.49 p3049-ipad205sizuokaden.shizuoka.ocn.ne.jp - Mozilla/4.0 (compatible; MSIE 6.0; Windows 98)

Was mich nun etwas wundert, dass man haeufiger Java als User Agent antrifft, und sehr oft IPs aus China, Japan, oder den Oststaaten des zerfallenen Russia dabei sind, aber auch der eBay Relevance Ad Crawler.. kann jemand die Ergebnisse etwas besser deuten?

Wie sieht denn die robots.txt aus?

Die Java-Clients habe ich immer so gedeutet, dass da irgend welche Java-Baster einen Crawler gebaut haben, und dabei auf irgend welche Standardklassen zurückgreifen. Darüber weißt Du bestimmt besser als ich bescheid.

die robots.txt sollte da unmissverstaendlich sein:

User-agent: *
Disallow: /bot-trap/

oder sollte der trailing slash weg?

Airport1 hat geschrieben:die robots.txt sollte da unmissverstaendlich sein:

User-agent: *
Disallow: /bot-trap/

Wie meinst Du das? Wenn man die robots.txt nicht runterlädt bzw. auswertet, kann man sie auch nicht beachten.

oder sollte der trailing slash weg?

Die Pfade aus der robots.txt werden ganz einfach Zeichen für Zeichen mit dem Anfang eines abzurufenden Pfades verglichen. Sofern Du in Deinen Seiten auf /bot-trap/ verweist, sollte der abschließende Schrägstrich keinen Unterschied machen.
Er sollte es natürlich auch nicht, wenn Du nur auf /bot-trap verweist, aber darauf, dass auch Pfade aus Weiterleitungen (die automatische von /bot-trap nach /bot-trap/ in diesem Fall) gegen die robots.txt geprüft werden, kann man sich bei Stümpern nicht verlassen - wobei ich mich dann allerdings fragen würde, ob es überhaupt Schade um diese Stümper ist.

Was die Adressen angeht: Mir fällt in Deinem Beispiel eher auf, dass Du es fast ausschließlich mit Einwahldomains zu tun hast; nimmt man die ohne rDNS hinzu, sogar komplett. Da sind also Botnetze am Werk. Dass die vermehrt aus einer bestimmten Region kommen, kann am trojanischen Pferd liegen, das die Bots transportiert.

Hinter Java können sich übrigens (gut, vielleicht nicht in diesem Fall) auch ganz normale Mobilgeräte verstecken.

Kann ich bestätigen, viel Java. Aber egal ob Mobilgeräte oder was weiß ich, da kommt man als normaler Besucher nicht hin da der Link invisible ist, und die Spezialisten die das trotzdem schaffen tragen sich normalerweise wieder aus.

84.177.160.120 [2006-05-25 (Thu) 22:02:03] Java/1.5.0_06
87.122.87.73 [2006-05-29 (Mon) 21:50:42] Mozilla/4.0 (compatible; MSIE 5.0; Windows 98)
210.150.10.44 [2006-06-05 (Mon) 00:20:19] ichiro/2.0 (https://help.goo.ne.jp/door/crawler.html)
84.178.148.182 [2006-06-05 (Mon) 21:47:43] Java/1.4.2_03
212.184.113.162 [2006-06-08 (Thu) 10:15:33] Mozilla/5.0 (Windows; U; Windows NT 5.0; en-US; rv:1.8.0.4) Gecko/20060508 Firefox/1.5.0.4
84.178.170.92 [2006-06-11 (Sun) 04:05:11] Java/1.4.2_03
84.178.123.43 [2006-06-11 (Sun) 14:53:53] Java/1.4.2_03
38.118.25.59 [2006-06-12 (Mon) 02:49:48] Mozilla/4.0 (compatible; MSIE 6.0; Windows XP)

Meine Bottrap (die ein Jahr lang bestens funktioniert hat) habe ich deaktiviert, nachdem dort ein paar Google IPs aufgetaucht waren. Ist mir zu riskant bei zu geringem Nutzen.

Die Robots.txt "Syntax" ist einfach zu krank, um darauf einen automatischen Blocking-Mechanismus basieren zu lassen. Da macht jeder was er will, und die meisten machen's falsch.

Ich benutze die Variante von www.spider-trap.de und bin eigentlich zufrieden damit.

Allerdings muss ich dazu sagen, dass ich auch phpBB und den Internet Explorer benutze. Insofern bin ich mit Sicherheit nicht Ernst zu nehmen.

Trotzdem liebe Grüße,
Hobby-SEO

Windy hat geschrieben:Aber egal ob Mobilgeräte oder was weiß ich, da kommt man als normaler Besucher nicht hin da der Link invisible ist,

Es gibt Browser, die im Hintergrund automatisch nachfolgende Seiten in ihren Cache holen. Gerade bei der begrenzten Geschwindigkeit im Mobilfunk kann das trotz möglicherweise höherer Kosten durchaus nützlich sein, aber auch ordinäre Telefonleitungssurfer profitieren davon.

Und was der Seitenautor meint (nicht) zu sehen und was die Seitenbenutzer zu sehen bekommen, waren eh schon immer zwei Paar Schuhe - auch wenn viele, auch hoch bezahlte Pixelzementierer und Für-Browser-Sowieso-Optimierer das nicht kapieren ;>

Also draufklicken kann man trotzdem nicht wirklich, der link hat "display: none", eine durchsichtige 1 pixel Grafik und diese ist nochmal mit Höhe und Breite 0 angegeben.
Bleibt wohl hauptsächlich die Gefahr des Vorrausladens.

Windy hat geschrieben:Also draufklicken kann man trotzdem nicht wirklich,

Falsch, denn…

der link hat "display: none", eine durchsichtige 1 pixel Grafik und diese ist nochmal mit Höhe und Breite 0 angegeben.

…sowas wird in Lynx und einigen Blindenbrowsern trotzdem angezeigt bzw. ausgegeben.

Bleibt wohl hauptsächlich die Gefahr des Vorrausladens.

Überwiegend, ja, das bleibt nichtsdestotrotz richtig.

haha hat geschrieben:

Windy hat geschrieben:Also draufklicken kann man trotzdem nicht wirklich,

Falsch, denn…

der link hat "display: none", eine durchsichtige 1 pixel Grafik und diese ist nochmal mit Höhe und Breite 0 angegeben.

…sowas wird in Lynx und einigen Blindenbrowsern trotzdem angezeigt bzw. ausgegeben.

Bleibt wohl hauptsächlich die Gefahr des Vorrausladens.

Überwiegend, ja, das bleibt nichtsdestotrotz richtig.

Also meine Erfahrung mit den ist nach dem ich das sogenannte Programm in mein Homepage installiert hat das ich nicht mehr rein kam und wie ich es entfernt hatte war meine komplette Homepage so verändert und mein Impressum das auf einmal die als Inhaber drin standen ich finde so was ist echt reine abzuzocken von Homepage nur unter dem Deckmantel das die hijacker und Co zu schützen das ist aber nicht so die selber klauen die Homepages mit diesem Script .

dann hast du dir bauerntrap installiert?