Seite 1 von 1
SimilarPages Spider?
Verfasst: 13.03.2009, 19:20
von Gremlin
Seit heute haben wir sehr viele Aufrufe des folgenden Spiders, in unserem Forum:
IP: 67.202.55.*
User-Agent: SimilarPages/Nutch-1.0-dev (SimilarPages Nutch Crawler;
https://www.similarpages.com; info at similarpages dot com)
Unter
https://www.similarpages.com/ finde ich leider keine Infos.
Woher kommt der Spider?
Was will er machen?
Sollte ich ihn aussperren?
Viele Grüße
Verfasst: 13.03.2009, 19:41
von JohnBi
der kommt aus Amerika,
der will deine Inhalte spidern,
musst du wissen ob du ihn aussperren willst, bei mir ist er auch täglich und ich sperre ihn nicht - soll er crawlen ....
Verfasst: 13.03.2009, 22:46
von 3DCG
Laut altsearchengines ist das eine suchmaschine die noch im stealth mode ist - frag da mal evtl. weis charles mehr
.
Verfasst: 16.03.2009, 13:17
von Gremlin
Danke! Ich hatte denen noch eine E-Mail geschickt und soeben folgende Antwort bekommen:
Hello,
We are an italian internet company, involved in a search engine project. Thats why we are crawling the web.
Our crawler follow robots.txt rules and doesn't make more than one request every 5 secs to the same server.
If you don't want us to continue crawling please let me know, and we will add your site in the list of sites not to be crawled.
Thank you for your patience.
Marco Laurita
Founder
Verfasst: 16.03.2009, 15:36
von TBT
also bei mir hat er sich NICHT an die robots gehalten,
daher habe ich ihn gesperrt
Verfasst: 16.03.2009, 19:16
von 3DCG
Hier a bisserl mehr
https://www.360capitalpartners.com/en/P ... Pages.html
so möchte ich auch mal mein Geld verdienen
.
Verfasst: 28.03.2009, 22:13
von profo
Ich stehe gerade ein bisschen auf dem Schlauch...
Bei mir kommt der Crawler von IP 75.101.219.121, einer IP aus dem Amazon-Netzwerk. Wie kommt das?
Verfasst: 29.03.2009, 08:46
von 3DCG
Cloud Computing? Evtl. haben die sich einen Server bei Amazon gemietet und lassen den dann da laufen? Da gibt es so ne Art Virtuelle Maschine die man anmieten kann.
.
