Inktomi = Hausverbot (Trafficfresser)

Beitrag von **Wuppi** » 03.06.2004, 09:42

Hi

irgendwie hab ich ein Problem mit Inktomi - das Teil kommt fast schon täglich bei mir vorbei - aber in der Suchmaschine von denen find ich nur eine Seite (mehr ist ja kostenpflicht) - zahlen möchte ich auch nciht. Wofür also Inktomi?!

Da davon ja doch einiges an Traffic verbraten wird, wäre es ja vielleicht sinnvoll das Teil zu sperren => Arbeiten andere SuMas mit Inktomi zusammen - wo ich auch was von habe - ohne zu blechen? Oder sit inktomi wirklich nur für zahlende interessant?

Bis denne
Wuppi

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **viggen** » 17.06.2004, 08:15

MSN verwendet Inktomi,

immer noch nur mit einer Seite drin?

mfg
viggen

Beitrag von **Luckybuy3000** » 18.07.2004, 21:06

MSN + Inktomi arbeiten Hand in Hand nach dem gleichen Schema ?
Täglich abgrasen, Traffic verursachen und nur 1 Seite im Index ? Toll, MSN wird bei mir bald ausgesperrt, findet seit Wochen nur 1 von 160 Seiten.

Beitrag von **Luckybuy3000** » 26.07.2004, 21:03

Habe gesehen, dass Inktomi am 25.7. 1000 Zugriffe auf eine unserer Seiten hatte und ne Menge Treffic verursachte. Warum dies so ist, kann ich mir eigentlich nicht erklären. Die Zugriffe nur durch Inktomi sind stark angestiegen und übersteigen die Zugriffe aller andern Suchmaschinen um mehr als doppelte.Was kommt dabei eigentlich raus, wir sind ja auch nur mit 1 Seite bei MSN vertreten ?

Beitrag von **Southmedia** » 26.07.2004, 22:11

Nix kommt bei raus. Das ist ja das Problem.

Beitrag von **viggen** » 27.07.2004, 04:41

Luckybuy3000 hat geschrieben:Habe gesehen, dass Inktomi am 25.7. 1000 Zugriffe auf eine unserer Seiten hatte und ne Menge Treffic verursachte. Warum dies so ist, kann ich mir eigentlich nicht erklären. Die Zugriffe nur durch Inktomi sind stark angestiegen und übersteigen die Zugriffe aller andern Suchmaschinen um mehr als doppelte.Was kommt dabei eigentlich raus, wir sind ja auch nur mit 1 Seite bei MSN vertreten ?

Könnte es eventuell ein Problem sein das vom MyDoom Virus verursacht wurde?

Beitrag von **Luckybuy3000** » 27.07.2004, 10:08

Keine Ahnung, ob das mit dem Virus zusammenhängt.Allerdings beliefert Inktomi nicht nur MSN es sind ein paar neue Suchmaschinen hinzugekommen. Vielleicht deswegen. Ich kann es mir nicht erklären. Am nächsten Tage waren die Zugriffe schon über 1000. Soll ich jetzt Inktomi aussperren ? Welche Möglichkeiten gibt es noch, die Zugriffe zu beschränken.

Beitrag von **Sephyra** » 27.07.2004, 11:29

Hast du schon mal versucht, Inktomi mit dem Crawl-delay-Befehl zu zügeln?
Vielleicht funzt das ja.
[/schuß-ins-blaue]

Beitrag von **viggen** » 27.07.2004, 11:40

@Sephyra, ja das scheint unter Umständen eine Möglichkeit zu sein

User-agent: Slurp
Crawl-delay: 20

Die nummer gibt an nach wieviel sekunden der bot die nächste Seite crawlen soll

mfg
viggen

Beitrag von **Luckybuy3000** » 29.07.2004, 12:12

crawl delay scheint nicht zu funzen. Ist vielleicht meine robots.txt falsch ?
Inktomi hat nach wie vor über 1000 x Zugriffe.

Beitrag von **Klaus** » 16.10.2004, 08:15

Mich nervt das auch.
Wir haben etracker laufen und der zählt die Aufrufe auch noch. Doppelt ärgerlich!
Klaus

Beitrag von **bull** » 22.10.2004, 07:20

Slurp unterstützt kein Crawl-delay, da es MSN-spezifisch ist. Slurp ist so ziemlich der dümmste Roboter einer ernstzunehmenden Suchmaschine, der sich herumtreibt und nach einem halben Jahr immer noch alte 404s crawlt und 301 anscheinend nicht versteht.

Beitrag von **eMPi** » 30.01.2005, 11:00

Hi!
Eigentlich müsste man doch den Traffic von Slurp/inktomisearch zumindest begrenzen können, oder?
Ich hab mir das so gedacht:
Ich schreibe in meine index-seite ne Überprüfung ob im User Agent "Slurp" enthalten ist, wenn nicht wird die Page nicht gesendet, demnach spart man schonmal 90% des Traffics.
Die Error Seite sollte auch so einen Check enthalten.

Beispiel in PHP:

Code: Alles auswählen

<?php
    if &#40;preg_match&#40;"/Slurp/",$_SERVER&#91;'HTTP_USER_AGENT'&#93;&#41;&#41; &#123;
       echo "Hallo Slurp, leider bist du hier nicht willkommen, also verzieh dich!";
       exit &#40;&#41;; /* Die Ausgabe der Seite wird beendet, d.h. der "Slurp!" "sieht" nurnoch den tollen Satz.  */
    &#125; 
?>

Dieses Script prüft nur ob im User Agent "Slurp" enthalten ist, wenn ja gibt es den Satz "Hallo Slurp, leider bist du hier nicht willkommen, also verzieh dich!" aus. Natürlich geht das besser (IP-Netz von Slurp sperren etc.), aber so sollte es als Hotfix reichen.
Ich habe das Script nicht getestet, aber ich denke so, oder so in der Art, sollte es funktionieren.

Hinweis: Wie bei allen PHP-Scripten muss die Dateiendung der File indem sich der PHP-Code befindet *.php sein.

Meine Meinung zu "Slurp!": Eigentlich interessierts mich nicht ob der nun die Statistiken verfummelt weil das bei uns nicht gro0ßartig auffält ob da mal 100 Visits mehr am Tag sind. Slurp verbraucht definitiv sinnlos Traffic, ohne Frage, aber wenn man von Suchmaschinen "leben" muss, sprich das ist die Hauptwerbung, dann sollten ein paar GB Traffic durch die Spider nicht ins Gewicht fallen dürfen.

Mit freundlichen Grüßen
Peter 'eMPi' Hansen

PS: Bei Fehlern bitte Mail an ph@ClanServerZ.de dann editier ich das nochmal.

Beitrag von **Christophe** » 01.02.2005, 12:03

eMPi hat geschrieben:Ich schreibe in meine index-seite ne Überprüfung ob im User Agent "Slurp" enthalten ist, wenn nicht wird die Page nicht gesendet, demnach spart man schonmal 90% des Traffics.

Da gibt es doch elegantere Methoden, wenn Slurp sich nicht an die robots.txt hält.

Code: Alles auswählen

RewriteCond %&#123;HTTP_USER_AGENT&#125; slurp &#91;NC&#93;
RewriteRule .* - &#91;F,L&#93;

(oder so ähnlich)

Dann kan Slurp so viel spidern wie er will ;)

Beitrag von **eMPi** » 01.02.2005, 16:48

Hi!
Das ist auch eine Idee!
Mit meiner Methode gibt es allerdings noch einen kleinen Vorteil: Die Seite ist trotzdem im Index der Suchmaschiene und es wird trotzdem nur minimaler Traffic dafür verbraucht.
Man kann natürlich noch einen Titel hinzufügen etc.

Deine Methode ist natürlich direkter und effektiver beim Sparen, es wird ja schließlich garnichts ausgegeben.

cu
Peter 'eMPi' Hansen