cuil-spider nervt

[catcat]

Moinsen,
der verdammte spider von www.cuil.com hat die letzten 2 Tage meine shops besucht und zig GB-Traffic verursacht *narf
Ich hab den jetzt gesperrt. Aus die Maus.

Der google-bot ist irgendwie schlauer.
Der spidert wenigstens meine Produktattribute nicht durch.

Gib Dir das mal: Der spidert alle Produktattribute durch... Wenn 1 Artikel in 3 Farbkombinationen erhältlich ist, ich 40 Farben habe und 6 Größen dazu... dann sind das 40³x6 Seiten je Artikel. Im Schnitt habe ich ca. 250 Artikel in jedem Shop.
Das macht: 40³x6x250 Seiten = 96Mio.
Und dann geht das Mistding noch in die Suche und macht da weiter...

[profo]

Cuil ist der Moritz unter den Suchmaschinen...

[3DCG]

Nach der Lachnummer die die geboten haben scheinen die es jetzt wieder zu versuchen die suchmaschine zu werden

.

[jackwiesel]

Mich würde viel eher interessieren, wer den Spider von bigfinder.de programmiert hat. Ich hab hier ne winzige Handwerker-HP mit fünf Inhaltsseiten und der lutscht das Ding (da wurde seit drei Jahren nix geändert) im Schnitt 20 mal am Tag aus. Seit nem Monat darf er nicht mal drauf, "klopft" aber artig weiter in der gleichen Frequenz an...

[catcat]

bigfinder? Dem hab ich schon lange die Rote gegeben. Der spider ist von Eike gecoded worden, wetten?

Aber mal ne Frage: In welcher Sprache weden eigentlich spider und bots geschrieben? In C? C++ oder wat? Und welche Serverhardware wird da eigentlich benötigt? So ne Dinger verursachen doch sicher ne irre Serverlast, oder?

[Alda]

Nach der Lachnummer die die geboten haben scheinen die es jetzt wieder zu versuchen die suchmaschine zu werden.

Es scheint wirklich so. In meinem Bereich ist deren Index mittlerweile nicht mal so schlecht.

[profo]

Aber mal ne Frage: In welcher Sprache weden eigentlich spider und bots geschrieben? In C? C++ oder wat? Und welche Serverhardware wird da eigentlich benötigt? So ne Dinger verursachen doch sicher ne irre Serverlast, oder?

Die Sprache ist vergleichsweise unwichtig, C++, Java, PHP, Perl, Google Go, was Du willst... Solange das Parsing der Seiten einigermaßen schlau gehalten wird, macht der IO die Hauptlast aus - also der Datentransfer und das Abspeichern. Insofern sind schnelle Festplatten wichtig, der Prozessor ist heute vergleichsweise wurscht.

[seonewbie]

Da Cuil nicht auf die robtots.txt hört hatte ich den
Privider angeschrieben. Der fühlte sich nicht zuständig.

Eigentlich sollte das hier reichen:
User-agent: twiceler
Crawl-Delay: 10
Disallow: /

Geht der Bot aber einfach drüber. Das ist echt igorantes Pack
sowohl bei Cuil wie bei softlayer.com.!

Nun gut ich habe auf allen Routern die ich betreue
softlayer.com auf REJECT gesetzt.

Das IP Netz ist: 174.36.0.0-174.36.0.127

Solltet ihr auch machen wer sich nicht mal an die robots.txt
hält gehört überall ausgesperrt!

[catcat]

Danke seonewbie!
Hätt ich auch von selbst draufkommen können. Bin ich aber nicht

Hat eigentlich irgendwer nennenswerten traffic von cuil erhalten? Also ich nicht. Kein einziger user... nur ne bot-party in meinen shops.
Zeitweilig gaben sich da 3 bots von denen gleichzeitg die Kante. 110GB traffic. Find ich nich lustig. Die kommen mir nicht wieder ins Haus.

[Nullpointer]

man müßte sowas wie ne botfalle implementieren

[catcat]

Man müsste den cuil-bot dazu bringen, die google-Serverfarmen zu spidern HARHAR.
Das wäre mal fies^^

[smilla]

Ich hatte mit denen mal richtig stress, ich meinte dass ich deren Server auch mal spidern werde und dann drohten die mir gleich mit Anzeige

Ich wollte die immer noch Fragen welche IP's die haben, damit ich deren Bots keinen Content liefere, sondern einen Kackhaufen. Mich würde interessieren, was die darauf antworten würden

[seonewbie]

Das sind übrigens ein paar ehemalige Google Azubis die wohl nicht
übernommen wurden (Klar angeblich haben sie sich Selbstständig
gemacht weil sie es besser als Google machen wollten LOL)
und haben und jetzt aus Frusst Cuil gegründet.
Schlimm daran ist das die auch noch einen Geldgeber gefunden haben
der ihnen ermöglicht ihre Experimente ausserhalb des Klassenzimmers
zu veranstalten.

Die haben bei einem Kunden mehrere WordpressMU Server vollständig
lahm gelegt. Die Shopserver die ich betreue sind nur nicht in Mitleidenschaft
gezogen worden da alle PHP Seiten als html gecached werden. Ich bin
mir sicher das das eine Schadensersatzklage nach sich gezogen hätte
wenn die gestanden hätten.

Mich wundert das Cuil in den USA noch nicht verklagt wurde oder zumindest
beid er Cyber Crime Devision angezeigt wurde, da der
Robot wirklich so aggressiv ist das er normale PHP Systeme komplett
in die Knie zwingt wenn er sich einmal festgefressen hat.

[SeriousBadMan]

Aber Cuil ist toll. Meine Seite, die seit nem Jahr in 1000 Filtern ist, rankt bei Cuil auf den Hauptkeys auf Rang1

[catcat]