Hallo,
ich habe ein Problem mit Slurp, dem Bot von Inktomi. Es geht um einige Websites, die es schon seit 3 bis 4 Jahren gibt und die auch schon einmal bei Inktomi gelistet waren. Mittlerweile sind sie aber rausgefallen, wobei ich nicht weiss, seit wann dies so ist.
Slurp kommt jedoch im Schnitt bis zu 40 Mal am Tag vorbei, liest die robots.txt und verschwindet wieder. An der robots.txt hatte ich ewig nichts mehr geändert. Die letzte Änderung stammt von vor einigen Wochen, nachdem ich gemerkt hatte, dass ich bei Inktomi nicht mehr gelistet bin und ein robots.txt Syntax Checker zwei Unschärfen erkannt hatte. Aktuell sieht die robots.txt in etwa so aus:
==========================================
User-agent: Mediapartners-Google*
Disallow:
User-agent: Googlebot-Image
Disallow: /
User-agent: SlySearch
Disallow: /
User-agent: *
Disallow: /admin/
Disallow: /benutzer/
Disallow: /chat/
Disallow: /forum/
Disallow: /includes/
Disallow: /templates/
Disallow: /test/
==========================================
Ich wundere mich nun, warum ich aus dem Index geflogen bin und wie ich wieder hinein komme. Da Slurp regelmäßig vorbeikommt, hat er mich zumindest in seinem Datenbestand, den er spidert.
Was kann ich tun, um bei Inktomi wieder zu erscheinen?
Mauzilla
Archiv
