Seite 1 von 1

Yahoo / Slurp liest nur robots.txt

Verfasst: 15.03.2004, 12:18
von hansifix
Wollte mal nachfragen, ob es bei mehreren auch so ist!
Bei mir kommt der Slurp massig am Tag vorbei, liest aber nur die robots.txt. In der robots.txt lasse ich alles zu. (habe sie auch schon ganz herausgenommen) alles ohne Erfolg. Alle anderen Roboter lesen die Seiten. Nur ebene der Slurp von Yahoo nicht.
Hat jemand eine Idee???

Verfasst:
von

Verfasst: 15.03.2004, 12:44
von Webby
Was ist dein URL?

Verfasst: 15.03.2004, 12:57
von hansifix
Es ist eine ganz normale Domain, die ich für einen Freund betreue. Also keine Weiterleitung oder so.

Verfasst: 31.03.2004, 23:01
von diabolo
Hey!

Das selbe Phänomen habe ich auch.
Egal ob ich die robots.txt lösche oder nicht.
Er liest nur diese ein und ist wieder weg.

Wäre toll, wenn einer hier Infos dazu hat.


Gruss Jörg

Verfasst: 19.04.2004, 14:43
von Metaman
infos hab ich leider auch keine,
aber ich hab mir heut morgen den Web Stats Tracker installiert
und konnte bis jetzt von Slurp schon 69 Zugriffe feststellen
darunter war ein einziger Zugriff auf eine Seite, die es jedoch nicht mehr gibt...

Verfasst: 19.04.2004, 15:03
von sean
na, an dem Web Stats Tracker wirds aber nicht gelegen haben dass der Slurp die Dateien einliest :-) Ich sachs nur, damit Hinsifix jetzt nicht meint das würde sein problem lösen :-)

sean