Servus Leute,
seit paar tagen scheine ich auf ner Domain den neuen Amazon spider gefangen zu haben
er meldet sich mit heritrix/1.12.1 +https://www.page-store.com und hat verschiedene Ips die immer auf den Inhaber amazon kommen z.b 72.44.50.67. der bot macht grausame fehler beim spidern.
hat jemand ähnliches bemerkt?
gruß
linux
Archiv
