Spoeder/0.7.0

Beitrag von **neph** » 26.09.2003, 06:59

Moin,

hat jemand ne Ahnung was das für'n Spider ist?
Hat diese Nacht meinen kompletten Shop mitgenommen.
Bisher hab ich den noch nie gesehen??

Gruß
neph

von **Anzeige von ABAKUS** »

Beitrag von **neph** » 26.09.2003, 07:18

Moin nochmal,

hab's schon selber rausgefunden. Scheint wohl von www.spoeder.de zu kommen, war mir bisher vollkommen unbekannt. Braucht vermutlich auch niemand;-))

neph

Beitrag von **bull** » 26.09.2003, 09:09

Beitrag von **neph** » 26.09.2003, 15:32

bull hat geschrieben:IP?

213.203.204.13

Beitrag von **bull** » 29.09.2003, 20:03

213.203.204.14 = www.spoeder.de
also selber provider. hat er robots.txt verlangt?

Beitrag von **ErwinRommel** » 29.09.2003, 20:12

Bei mir war dessen Spider auch gewesen.

Beitrag von **neph** » 30.09.2003, 12:31

bull hat geschrieben:213.203.204.14 = www.spoeder.de
also selber provider. hat er robots.txt verlangt?

Hi,

ne die robots.txt hat er nicht verlangt.

Was für'n bot ist eigentlich Firefly? Stammt der von Fireball? Hat diese Nacht bei mir gewütet..

ruß
neph

Beitrag von **bull** » 30.09.2003, 13:25

ne die robots.txt hat er nicht verlangt.

tja, dann is ja alles klar.

mit firefly liegst du richtig.

Beitrag von SB » 16.10.2003, 04:46

hm...

Na ok, da "neph" nicht auf meine PN vom 03.10.03 hier reagiert schreib ichs halt selber als Antwort...

Also: die robots.txt wird sehr wohl besorgt bevor der Bot anfängt zu spidern, und beachtet wird diese ebenso.

Da ich schlecht nachvollziehen kann, welchen "Shop" der Bot angeblich ohne robots.txt gespidert haben soll (in der besagten Nacht wurden über 4000 Seiten mit shop in der URL aufgenommen), kann ich dazu jetzt nichts genaues sagen. Neph möchte mir ja anscheinend nicht sagen um welchen Shop es dort ging, bzw. ist im Urlaub...

Aber die robots.txt hat er mit Sicherheit zuerst gesaugt, das prüfe ich auch immer stichprobenartig ob da alles noch so funktioniert wie es soll (kann ja immer mal was schieflaufen).

MfG

Sven B.

(bin Betreiber der o. g. Suchmaschine)

Beitrag von **neph** » 16.10.2003, 10:29

Hi,

SB hat geschrieben:hm...

Na ok, da "neph" nicht auf meine PN vom 03.10.03 hier reagiert schreib ichs halt selber als Antwort...

Also: die robots.txt wird sehr wohl besorgt bevor der Bot anfängt zu spidern, und beachtet wird diese ebenso.

Neph ist nicht im Urlaub

Ich kann Dir aber versichern, das Dein bot keine Robots.txt angefordert hat. Der erste Zugriff war:

GET / HTTP/1.0" 200 1501 www.meinedomain.de "-" "Spoeder/0.7.0" "-"

Danach hat der sich sofort auf alle Seiten gestürzt.

Gruß
neph

Beitrag von SB » 17.10.2003, 01:44

Könntest du mir bitte einmal die Domain per PN schicken? Kann (und möchte es) gerne prüfen...

War er zufällig innerhalb 7 Tage vorher schonmal auf erstvisite da? Weil die robots.txt wird alle 7 Tage neu angefordert, ansonsten die bestehenden Daten aus der Datenbank genommen. Und das vermute ich jetzt mal dass dies der Fall war...

MfG

Sven B.

Beitrag von **neph** » 17.10.2003, 08:47

Moin,

Ok, Du hast Recht. Die Robots.txt wurde tatsächlich ein paar Tage vorher abgerufen.

Gruß
neph