Inktomi = Hausverbot (Trafficfresser)

[Wuppi]

Hi

irgendwie hab ich ein Problem mit Inktomi - das Teil kommt fast schon täglich bei mir vorbei - aber in der Suchmaschine von denen find ich nur eine Seite (mehr ist ja kostenpflicht) - zahlen möchte ich auch nciht. Wofür also Inktomi?!

Da davon ja doch einiges an Traffic verbraten wird, wäre es ja vielleicht sinnvoll das Teil zu sperren => Arbeiten andere SuMas mit Inktomi zusammen - wo ich auch was von habe - ohne zu blechen? Oder sit inktomi wirklich nur für zahlende interessant?

Bis denne
Wuppi

[viggen]

MSN verwendet Inktomi,

immer noch nur mit einer Seite drin?

mfg
viggen

[Luckybuy3000]

MSN + Inktomi arbeiten Hand in Hand nach dem gleichen Schema ?
Täglich abgrasen, Traffic verursachen und nur 1 Seite im Index ? Toll, MSN wird bei mir bald ausgesperrt, findet seit Wochen nur 1 von 160 Seiten.

[Luckybuy3000]

Habe gesehen, dass Inktomi am 25.7. 1000 Zugriffe auf eine unserer Seiten hatte und ne Menge Treffic verursachte. Warum dies so ist, kann ich mir eigentlich nicht erklären. Die Zugriffe nur durch Inktomi sind stark angestiegen und übersteigen die Zugriffe aller andern Suchmaschinen um mehr als doppelte.Was kommt dabei eigentlich raus, wir sind ja auch nur mit 1 Seite bei MSN vertreten ?

[Southmedia]

Nix kommt bei raus. Das ist ja das Problem.

[viggen]

Habe gesehen, dass Inktomi am 25.7. 1000 Zugriffe auf eine unserer Seiten hatte und ne Menge Treffic verursachte. Warum dies so ist, kann ich mir eigentlich nicht erklären. Die Zugriffe nur durch Inktomi sind stark angestiegen und übersteigen die Zugriffe aller andern Suchmaschinen um mehr als doppelte.Was kommt dabei eigentlich raus, wir sind ja auch nur mit 1 Seite bei MSN vertreten ?

Könnte es eventuell ein Problem sein das vom MyDoom Virus verursacht wurde?

[Luckybuy3000]

Keine Ahnung, ob das mit dem Virus zusammenhängt.Allerdings beliefert Inktomi nicht nur MSN es sind ein paar neue Suchmaschinen hinzugekommen. Vielleicht deswegen. Ich kann es mir nicht erklären. Am nächsten Tage waren die Zugriffe schon über 1000. Soll ich jetzt Inktomi aussperren ? Welche Möglichkeiten gibt es noch, die Zugriffe zu beschränken.

[Sephyra]

Hast du schon mal versucht, Inktomi mit dem Crawl-delay-Befehl zu zügeln?
Vielleicht funzt das ja.
[/schuß-ins-blaue]

[viggen]

@Sephyra, ja das scheint unter Umständen eine Möglichkeit zu sein

User-agent: Slurp
Crawl-delay: 20

Die nummer gibt an nach wieviel sekunden der bot die nächste Seite crawlen soll

mfg
viggen

[Luckybuy3000]

crawl delay scheint nicht zu funzen. Ist vielleicht meine robots.txt falsch ?
Inktomi hat nach wie vor über 1000 x Zugriffe.

[Klaus]

Mich nervt das auch.
Wir haben etracker laufen und der zählt die Aufrufe auch noch. Doppelt ärgerlich!
Klaus

[bull]

Slurp unterstützt kein Crawl-delay, da es MSN-spezifisch ist. Slurp ist so ziemlich der dümmste Roboter einer ernstzunehmenden Suchmaschine, der sich herumtreibt und nach einem halben Jahr immer noch alte 404s crawlt und 301 anscheinend nicht versteht.

[eMPi]

Hi!
Eigentlich müsste man doch den Traffic von Slurp/inktomisearch zumindest begrenzen können, oder?
Ich hab mir das so gedacht:
Ich schreibe in meine index-seite ne Überprüfung ob im User Agent "Slurp" enthalten ist, wenn nicht wird die Page nicht gesendet, demnach spart man schonmal 90% des Traffics.
Die Error Seite sollte auch so einen Check enthalten.

Beispiel in PHP:

Code: Alles auswählen

<?php
    if &#40;preg_match&#40;"/Slurp/",$_SERVER&#91;'HTTP_USER_AGENT'&#93;&#41;&#41; &#123;
       echo "Hallo Slurp, leider bist du hier nicht willkommen, also verzieh dich!";
       exit &#40;&#41;; /* Die Ausgabe der Seite wird beendet, d.h. der "Slurp!" "sieht" nurnoch den tollen Satz.  */
    &#125; 
?>

Dieses Script prüft nur ob im User Agent "Slurp" enthalten ist, wenn ja gibt es den Satz "Hallo Slurp, leider bist du hier nicht willkommen, also verzieh dich!" aus. Natürlich geht das besser (IP-Netz von Slurp sperren etc.), aber so sollte es als Hotfix reichen.
Ich habe das Script nicht getestet, aber ich denke so, oder so in der Art, sollte es funktionieren.

Hinweis: Wie bei allen PHP-Scripten muss die Dateiendung der File indem sich der PHP-Code befindet *.php sein.

Meine Meinung zu "Slurp!": Eigentlich interessierts mich nicht ob der nun die Statistiken verfummelt weil das bei uns nicht gro0ßartig auffält ob da mal 100 Visits mehr am Tag sind. Slurp verbraucht definitiv sinnlos Traffic, ohne Frage, aber wenn man von Suchmaschinen "leben" muss, sprich das ist die Hauptwerbung, dann sollten ein paar GB Traffic durch die Spider nicht ins Gewicht fallen dürfen.

Mit freundlichen Grüßen
Peter 'eMPi' Hansen

PS: Bei Fehlern bitte Mail an ph@ClanServerZ.de dann editier ich das nochmal.

[Christophe]

Ich schreibe in meine index-seite ne Überprüfung ob im User Agent "Slurp" enthalten ist, wenn nicht wird die Page nicht gesendet, demnach spart man schonmal 90% des Traffics.

Da gibt es doch elegantere Methoden, wenn Slurp sich nicht an die robots.txt hält.

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} slurp [NC]
RewriteRule .* - [F,L]

(oder so ähnlich)

Dann kan Slurp so viel spidern wie er will ;)

[eMPi]

Hi!
Das ist auch eine Idee!
Mit meiner Methode gibt es allerdings noch einen kleinen Vorteil: Die Seite ist trotzdem im Index der Suchmaschiene und es wird trotzdem nur minimaler Traffic dafür verbraucht.
Man kann natürlich noch einen Titel hinzufügen etc.

Deine Methode ist natürlich direkter und effektiver beim Sparen, es wird ja schließlich garnichts ausgegeben.

cu
Peter 'eMPi' Hansen