SimilarPages Spider?

Beitrag von **Gremlin** » 13.03.2009, 19:20

Seit heute haben wir sehr viele Aufrufe des folgenden Spiders, in unserem Forum:

IP: 67.202.55.*

User-Agent: SimilarPages/Nutch-1.0-dev (SimilarPages Nutch Crawler; https://www.similarpages.com; info at similarpages dot com)

Unter https://www.similarpages.com/ finde ich leider keine Infos.

Woher kommt der Spider?
Was will er machen?
Sollte ich ihn aussperren?

Viele Grüße

von **Anzeige von ABAKUS** »

Beitrag von **JohnBi** » 13.03.2009, 19:41

der kommt aus Amerika,

der will deine Inhalte spidern,

musst du wissen ob du ihn aussperren willst, bei mir ist er auch täglich und ich sperre ihn nicht - soll er crawlen ....

Beitrag von **3DCG** » 13.03.2009, 22:46

Laut altsearchengines ist das eine suchmaschine die noch im stealth mode ist - frag da mal evtl. weis charles mehr

.

Beitrag von **Gremlin** » 16.03.2009, 13:17

Danke! Ich hatte denen noch eine E-Mail geschickt und soeben folgende Antwort bekommen:

Hello,
We are an italian internet company, involved in a search engine project. Thats why we are crawling the web.
Our crawler follow robots.txt rules and doesn't make more than one request every 5 secs to the same server.
If you don't want us to continue crawling please let me know, and we will add your site in the list of sites not to be crawled.

Thank you for your patience.

Marco Laurita
Founder

Beitrag von **TBT** » 16.03.2009, 15:36

also bei mir hat er sich NICHT an die robots gehalten,
daher habe ich ihn gesperrt

Beitrag von **3DCG** » 16.03.2009, 19:16

Hier a bisserl mehr

https://www.360capitalpartners.com/en/P ... Pages.html

so möchte ich auch mal mein Geld verdienen

.

Beitrag von **profo** » 28.03.2009, 22:13

Ich stehe gerade ein bisschen auf dem Schlauch...

Bei mir kommt der Crawler von IP 75.101.219.121, einer IP aus dem Amazon-Netzwerk. Wie kommt das?

Beitrag von **3DCG** » 29.03.2009, 08:46

Cloud Computing? Evtl. haben die sich einen Server bei Amazon gemietet und lassen den dann da laufen? Da gibt es so ne Art Virtuelle Maschine die man anmieten kann.

.