ABAKUS

Hallo,

ich habe ein Problem mit Slurp, dem Bot von Inktomi. Es geht um einige Websites, die es schon seit 3 bis 4 Jahren gibt und die auch schon einmal bei Inktomi gelistet waren. Mittlerweile sind sie aber rausgefallen, wobei ich nicht weiss, seit wann dies so ist.

Slurp kommt jedoch im Schnitt bis zu 40 Mal am Tag vorbei, liest die robots.txt und verschwindet wieder. An der robots.txt hatte ich ewig nichts mehr geändert. Die letzte Änderung stammt von vor einigen Wochen, nachdem ich gemerkt hatte, dass ich bei Inktomi nicht mehr gelistet bin und ein robots.txt Syntax Checker zwei Unschärfen erkannt hatte. Aktuell sieht die robots.txt in etwa so aus:

==========================================
User-agent: Mediapartners-Google*
Disallow:

User-agent: Googlebot-Image
Disallow: /

User-agent: SlySearch
Disallow: /

User-agent: *
Disallow: /admin/
Disallow: /benutzer/
Disallow: /chat/
Disallow: /forum/
Disallow: /includes/
Disallow: /templates/
Disallow: /test/
==========================================

Ich wundere mich nun, warum ich aus dem Index geflogen bin und wie ich wieder hinein komme. Da Slurp regelmäßig vorbeikommt, hat er mich zumindest in seinem Datenbestand, den er spidert.

Was kann ich tun, um bei Inktomi wieder zu erscheinen?

Mauzilla

Ich hatte ein ähnliches Problem aber mit Alltheweb, ich schrieb eine email und ein paar Tage später war ich ordentlich im Index vertreten.

Würde mal eine mail an slurp@inktomi.com
Aber erst (falls noch nicht getan), hier durchlesen
https://www.inktomi.com/slurp.html

mfg
viggen

Hallo viggen,

danke für deinen Tipp. Ich werde das dann dort einmal probieren, auch wenn ich etwas skeptisch bin, ob das wirklich etwas bringt. Aber man sollte ja nichts unversucht lassen...

Mauzilla