Unbekannter Referer liest die ganze Seite ein

Beitrag von **martin** » 25.11.2006, 16:55

Hallo Leute,
musste heute beim Blick auf meine Logs feststellen, dass ein unbekannter Robot unsere komplette Seite eingelesen hat. Das sieht dann so aus:

420206 217.85.200.220 2006-11-25 2006-11-25 15:53:48 https://www.skigebiete-test.de/unterkuenfte/zermatt... n.v.
420205 217.85.200.220 2006-11-25 2006-11-25 15:53:47 https://www.skigebiete-test.de/unterkuenfte/zermatt... n.v.
420204 217.85.200.220 2006-11-25 2006-11-25 15:53:47 https://www.skigebiete-test.de/unterkuenfte/zermatt... n.v.
420203 217.85.200.220 2006-11-25 2006-11-25 15:53:47 https://www.skigebiete-test.de/unterkuenfte/zermatt... n.v.
420202 217.85.200.220 2006-11-25 2006-11-25 15:53:47 https://www.skigebiete-test.de/unterkuenfte/zermatt... n.v.
420201 217.85.200.220 2006-11-25 2006-11-25 15:53:47 https://www.skigebiete-test.de/unterkuenfte/zermatt... n.v.

Insgesa,t wurden so auf diese Weise heute 100.000 Seiten eingelesen. Habt Ihr sowas schon mal erlebt??? Muss ich die IP blocken? Bringt mir das überhaupt was?

Danke
Martin

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Michael1967** » 25.11.2006, 17:03

Die IP-Adresse gehört zu - Germany - Baden-wurttemberg - Mannheim - Deutsche Telekom Ag

Beitrag von **martin** » 25.11.2006, 17:32

Und das heißt nun????

Beitrag von **Michael1967** » 25.11.2006, 17:42

Das es vielleicht ein ganz normaler Besucher war?

Es kann sein, dass sich dieser Besucher deine komplette Webseite auf der Festplatte abgespeichert hat.

Beitrag von **martin** » 25.11.2006, 17:50

Aber dann müsst ich doch den Referer sehen oder??
Und 100.000 HTML Seiten abspeichern, kann das klappen??

Beitrag von **Michael1967** » 25.11.2006, 17:52

Klar, es gibt Programme damit kannst du das machen.

Suche bei Google mal nach - "Webseite komplett abspeichern"

Und dann in ruhe offline lesen.

Beitrag von **martin** » 25.11.2006, 18:48

Na dann bedank ich mich mal für eure Antworten. Dann wart ich einfach mal ab, ob sich das jetzt erledigt hat.
@Rudi Ratlos
ja es sind insgesamt über 100.000 Seiten. Fast 10.000 Hoteleinträge mit eigener Seite, Übersichtsseiten, Skigebietsseiten, und und und. Das ganze auf deutsch und auf englisch.
Lässt sich prima mit jsp oder php machen sowas. Aber du kannst ja gerne mal zählen wenn dus nicht glaubst

Beitrag von **martin** » 25.11.2006, 19:14

No Prob