ABAKUS

Moin,

hat jemand ne Ahnung was das für'n Spider ist?
Hat diese Nacht meinen kompletten Shop mitgenommen.
Bisher hab ich den noch nie gesehen??

Gruß
neph

Moin nochmal,

hab's schon selber rausgefunden. Scheint wohl von www.spoeder.de zu kommen, war mir bisher vollkommen unbekannt. Braucht vermutlich auch niemand;-))

neph

IP?

bull hat geschrieben:IP?

213.203.204.13

213.203.204.14 = www.spoeder.de
also selber provider. hat er robots.txt verlangt?

Bei mir war dessen Spider auch gewesen.

bull hat geschrieben:213.203.204.14 = www.spoeder.de
also selber provider. hat er robots.txt verlangt?

Hi,

ne die robots.txt hat er nicht verlangt.

Was für'n bot ist eigentlich Firefly? Stammt der von Fireball? Hat diese Nacht bei mir gewütet..

ruß
neph

ne die robots.txt hat er nicht verlangt.

tja, dann is ja alles klar.

mit firefly liegst du richtig.

hm...

Na ok, da "neph" nicht auf meine PN vom 03.10.03 hier reagiert schreib ichs halt selber als Antwort...

Also: die robots.txt wird sehr wohl besorgt bevor der Bot anfängt zu spidern, und beachtet wird diese ebenso.

Da ich schlecht nachvollziehen kann, welchen "Shop" der Bot angeblich ohne robots.txt gespidert haben soll (in der besagten Nacht wurden über 4000 Seiten mit shop in der URL aufgenommen), kann ich dazu jetzt nichts genaues sagen. Neph möchte mir ja anscheinend nicht sagen um welchen Shop es dort ging, bzw. ist im Urlaub...

Aber die robots.txt hat er mit Sicherheit zuerst gesaugt, das prüfe ich auch immer stichprobenartig ob da alles noch so funktioniert wie es soll (kann ja immer mal was schieflaufen).

MfG

Sven B.
(bin Betreiber der o. g. Suchmaschine)

Hi,

SB hat geschrieben:hm...

Na ok, da "neph" nicht auf meine PN vom 03.10.03 hier reagiert schreib ichs halt selber als Antwort...

Also: die robots.txt wird sehr wohl besorgt bevor der Bot anfängt zu spidern, und beachtet wird diese ebenso.

Neph ist nicht im Urlaub
Ich kann Dir aber versichern, das Dein bot keine Robots.txt angefordert hat. Der erste Zugriff war:

GET / HTTP/1.0" 200 1501 www.meinedomain.de "-" "Spoeder/0.7.0" "-"

Danach hat der sich sofort auf alle Seiten gestürzt.

Gruß
neph

Könntest du mir bitte einmal die Domain per PN schicken? Kann (und möchte es) gerne prüfen...

War er zufällig innerhalb 7 Tage vorher schonmal auf erstvisite da? Weil die robots.txt wird alle 7 Tage neu angefordert, ansonsten die bestehenden Daten aus der Datenbank genommen. Und das vermute ich jetzt mal dass dies der Fall war...

MfG

Sven B.

Moin,

Ok, Du hast Recht. Die Robots.txt wurde tatsächlich ein paar Tage vorher abgerufen.

Gruß
neph