Besucher von xxx.inktomisearch.com

[guppy]

vielleicht kannst Du mir mal erklären, was an unnützen Traffic und Anfragen so toll sein soll? Traffic ist ja gut und schön, aber von einem Robot.. nein Danke!!! Da kommt eh nix tolles bei raus.

Naja, aber wenn das Deine Vorstellung vom Internet ist... dann beschäftige dich lieber mit Videotext

na dann sperr ihn doch aus - anleitung im videotext

[MichiDEL]

na dann sperr ihn doch aus - anleitung im videotext

...doch schon längst passiert

[fotzi]

hallo zusammen...

also ich verstehe euch nicht. ihr habt eine HomePage und wollt keinen Traffic auf der Seite??? ich habe auch besuch von intkomi und ich finde es klasse wenn ich in sovielen suchmaschinen wie möglich eigetragen werde.

na ja.. so hat jeder seine vorstellungen was internet sein soll

Du machst dich strafbar, denn du verbreitest urheberrechtlich geschütztes Material. Stichword Intro -> Nu Pagadi...

[meramdo]

Hallo,

also ich habe seit gut einem halben Jahr täglich Besuch von Inktomi,
er verursacht bei mir sicher auch Traffic, allerdings nicht in solchen Dimensionen wie bei euch.
Egal zu welcher Tageszeit ich mich im Forum einlogge, es sind immer mindestens 10-20 Robots von Inktomi online.
Im Gegensatz zu Google, da ist immer nur einer online.
Das der Robot für verschiedene Suchmaschinen arbeit ist klar, wenn ich allerdings den Agenten laufen lasse, kommt bei mir immer Yahoo zum Vorschein.
Im Moment sind gerade 21x Inktomie und 1x Google online.

Der Agent sagt:

lj2565.inktomisearch.com
Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)

Was den Sinn der Robots angeht, ich freue mich wenn ich Besuch bekomme, das steigert die Sucherfolge in den Suchmaschinen.
Was für eine Forum nur von Vorteil sein kann.

Gruß meramdo

[1aSport]

In 7 Tagen 27 GB Traffic? Und Du regst Dich auf? Die produziert inktomi bei uns (1aSport.de) locker an einem Tag...
Soll man versuchen das zu unterbinden? Dann wird man nicht gespidert.. läst man es zu, verbraucht der Spider unmängen an Ressourcen..

Ja ja.. ein Teufelskreis...

[Wuddy007]

Hallo,
wollte fragen ob mir jemand erklären kann wie ich die blokieren kann
xxxxx.inktomisearch.com ???

in der robots.txt?

danke für eine antwort

[fehlermann]

hallo,

ich bin bei der recherche nach 'slurp' auf diesen thread gestossen - vielleicht kann mir hier jemand etwas weiter helfen:

ich baue gerade an einer web-applikation für ein produkt unserer firma, und sass entsprechend auch heute abend am rechner und hab rumgewerkelt.
bei der gelegenheit hat mir inktomi/yahoo slurp gerade einen ordentlichen schrecken eingejagt:

kurz nachdem ich eine seite in der neuen version hochgeladen hatte und im eigenen browser geöffnet hatte, werfe ich einen blick in die access.log des apachen und sehe dort genau 10 sekunden nach meinem zugriff zwei slurp-einträge: einmal die robots.txt und einmal *genau die seite*, die ich gerade geladen habe!

der letzte eintrag von iktomi im log war ca. 22h vorher, seitdem nur genau die beiden hits und ein weiterer (5 min später) auf eine von dieser seite aus erreichbare seite.

besteht die möglichkeit, dass iktomi irgendwie vom browser auf dem client unterstützt wird, wenn z.b. die yahoo-toolbar installiert ist?
also die surf-aktivitäten lokal überwacht und bei "interessanten" funden, nach hause telefoniert und dann von dort aus den crawler anstößt?
das würde vielleicht den hohen verursachten traffic erklären, wenn viele slurp-"infizierte" clients auf einer seite surfen.


auf der domain ist derzeit noch sehr wenig aktivität (sonst wäre mir das vermutlich auch gar nicht aufgefallen) - von daher halte ich es für sehr unwahrscheinlich, dass es sich hier um einen zufall handelt.


ein kurzer auszug aus dem log-file:

mein request (den domainnamen im referrer habe ich 'zensiert':
> 82.135.88.27 - - [25/Oct/2006:22:33:52 +0200] "GET /fmp/tpayPrepare.jsp?lang=de&paymentType=cc_anon HTTP/1.1" 200 10544 "https://******/de/buy.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.12) Gecko/20050915 Fir
efox/1.0.7" "-"

die beiden iktomi-requests:
> 74.6.75.39 - - [25/Oct/2006:22:34:01 +0200] "GET /robots.txt HTTP/1.0" 404 280 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)" "-"
> 74.6.70.57 - - [25/Oct/2006:22:34:02 +0200] "GET /fmp/tpayPrepare.jsp?lang=en&paymentType=cc_anon HTTP/1.0" 200 10398 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)" "-"


ich bin dankbar für jegliche hinweise :)

[Corinna]

Kann mir jemand sagen, wieso die Inktomi-Bots sogar etwas den Warenkorb legen? Ist aktuell tatsächlich bei einem der Fall!
Ist doch ein merkwürdiges Verhalten für einen Spider, oder?

Außerdem würde ich gerne wissen, wie ich die Bots davon abhalten kann, Session-IDs zu erzeugen. Bei unserem osCommerce Shop kann man bekannte Spider eigentlich daran hindern, aber bei Inktomi scheint das nicht zu funktionieren...

Grüße von Corinna

[Rene78]

Also bei XTc gehts, dort kann er nix in den Warenkorb legen

Nagut einziger Nachteil.. im Dezember kamen mal eben 42GB durch den Roboot zustande...

[maddin]

@Corinna
Funktioniert beim Inktomi mit der spider.txt nicht richtig. Kannste aber mit ein wenig php Sachverstand hart in der application_top.php eintragen dann sollte es gehen.

Etwa so:
if (preg_match('/haltemichannixbot/', $user_agent)) {
$spider_flag = true;
}

[Breda]

Hallo, ich bin neu hier und durch meine Suche in google auf euch gestossen. Ich habe genau dasselbe Problem und einen Riesentraffic (ich kann es beim uploadBalken meiner Fritzbox sehen)
Habe folgendes Protokoll:
lj602229.inktomisearch.com - - [30/Jan/2007:11:26:22 +0100] "GET /robots.txt HTTP/1.0" 404 204 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"

Leider bin ich nicht so bewandert, was html-.Sachen anbelangt. Ich habe gelesen, dass man das ganze blocken kann, kann mir jemand sagen, wie und welches Script ich genau einfügen muss? Wäre sehr dankbar für Antworten, dankesehr.

[maddin]

Dann sperr den Slurp doch per robots.txt aus wenn Du ihn nicht haben willst.

https://help.yahoo.com/help/us/ysearch/ ... rp-02.html

[Breda]

Ich bin wirklich Neuling auf dem Gebiet und steige da leider nicht durch, sonst hätte ich nicht gefragt.
Leider weiss ich nicht, was ein robot.txt ist und wie ich das nun ändern kann. Kann mir niemand eine kurze verständliche Anleitung geben und wo ich das reinsetzen muss? Sorry, wenn ich so doof frage, aber ich weiß mir wirklich leider keinen Rat.

[maddin]

Extra für Dich rausgesucht und ganz verständlich.
https://de.wikipedia.org/wiki/Robots.txt