Java-Spider???

Beitrag von **fool** » 16.07.2004, 12:38

Hallo,

hat einer eine Ahnung, wer oder was das wahr?

69.118.3.227 - - [15/Jul/2004:08:43:49 +0200] "GET / HTTP/1.1" 200 10196 "-" "Java/1.4.2_04"
69.118.3.227 - - [15/Jul/2004:08:43:50 +0200] "GET /links.html HTTP/1.1" 404 1981 "-" "Java/1.4.2_04"
69.118.3.227 - - [15/Jul/2004:08:43:50 +0200] "GET /kontakt.html HTTP/1.1" 404 1981 "-" "Java/1.4.2_04"

und dann auch noch erst eine 200-Meldung dann aber die 404

Gruß
fool

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **slinky** » 16.07.2004, 12:57

Hi fool,

IPv4-adress: 69.118.3.227
addr-out: ool-457603e3.dyn.optonline.net
*edit

Wer das genau ist, kann ich Dir aber leider nicht sagen.
Kenn ich auch nicht.

gruß

slinky

Beitrag von **UweT** » 16.07.2004, 16:23

SLINKY hat geschrieben:Wer das genau ist, kann ich Dir aber leider nicht sagen.
Kenn ich auch nicht.

Wenn man nun 1 und 1 zusammen zählt, kommt der normal denkende Mensch darauf, dass es sich hier um eine dynamische IP des Kabel-ISPs OptimumOnline handelt und man es hier mit einem gefakten Spider eines Privatanwenders zu tun hat. Da die meisten Kunden dieses ISPs aus New York/USA kommen, kann man schwer davon ausgehen, dass der Verursacher auch daher kommt, es sei denn er setzt Proxy Server ein.

gruß
tbone.

von **Anzeige von ABAKUS** »

Beitrag von **slinky** » 16.07.2004, 16:41

Hi tbone,

es ist Freitag abend, kurz vor dem Wochenende.
Meinst Du, da bin ich noch in der Lage normal zu denken?

Aber eine interessante Schlussfolgerung!!!

Schönes Wochenende

slinky

Beitrag von **Noki** » 16.07.2004, 17:28

Der einzige Spider den ich kenne der auf Java basiert kommt von Nutch.org - https://www.nutch.org/docs/de/ - der Useragent sollte dort aber Nurch sein - Habe mir das aber nie genauer angeschaut...

Beitrag von **dirk** » 16.07.2004, 17:35

Ich denke mal, wenn da einer mit java programmiert und ein simples GET macht, wird das als useragent gesetzt.

Beitrag von **fool** » 16.07.2004, 20:01

Dank euch schon mal für die vielen Beträge.
Hat jetzt auch noch jemand eine Erklärung dafür, warum meine Seiten dann alle eine 404-Fehlermeldung ausgelöst haben. Die Seiten gibt es.

@noki
nutch.org kommt bei mir auch vorbei. Und die haben wirklich immer ihre kennung.

schönes wochenende
fool

Beitrag von **Michael** » 16.07.2004, 21:04

Klare Sache.
1. Ein einfaches Java Programm mit dem default user_agent
2. Die Seiten konnten nicht gelesen werden. (404 = Not Found)
3. 1 hat mit 2 nichts zu tun.

Es kann passieren, dass z.B. der Host: im HTTP1.1 nicht richtig gesetzt war, dann ist der Webserver meist etwas zickig.

Gruß
Michael

Beitrag von **Noki** » 17.07.2004, 00:59

@fool

ja, aber das ding ist ja opensource - ich hab keine ahnung was das ding als kennung liefert wenn ich den crawler nun für ne eigene suma nutze...