Yahoo / Slurp liest nur robots.txt

Beitrag von **hansifix** » 15.03.2004, 12:18

Wollte mal nachfragen, ob es bei mehreren auch so ist!
Bei mir kommt der Slurp massig am Tag vorbei, liest aber nur die robots.txt. In der robots.txt lasse ich alles zu. (habe sie auch schon ganz herausgenommen) alles ohne Erfolg. Alle anderen Roboter lesen die Seiten. Nur ebene der Slurp von Yahoo nicht.
Hat jemand eine Idee???

von **Anzeige von ABAKUS** »

Beitrag von **Webby** » 15.03.2004, 12:44

Was ist dein URL?

Beitrag von **hansifix** » 15.03.2004, 12:57

Es ist eine ganz normale Domain, die ich für einen Freund betreue. Also keine Weiterleitung oder so.

Beitrag von **diabolo** » 31.03.2004, 23:01

Hey!

Das selbe Phänomen habe ich auch.
Egal ob ich die robots.txt lösche oder nicht.
Er liest nur diese ein und ist wieder weg.

Wäre toll, wenn einer hier Infos dazu hat.

Gruss Jörg

Beitrag von **Metaman** » 19.04.2004, 14:43

infos hab ich leider auch keine,
aber ich hab mir heut morgen den Web Stats Tracker installiert
und konnte bis jetzt von Slurp schon 69 Zugriffe feststellen
darunter war ein einziger Zugriff auf eine Seite, die es jedoch nicht mehr gibt...

Beitrag von **sean** » 19.04.2004, 15:03

na, an dem Web Stats Tracker wirds aber nicht gelegen haben dass der Slurp die Dateien einliest

Ich sachs nur, damit Hinsifix jetzt nicht meint das würde sein problem lösen

sean