Seite 1 von 1
Yahoo / Slurp liest nur robots.txt
Verfasst: 15.03.2004, 12:18
von hansifix
Wollte mal nachfragen, ob es bei mehreren auch so ist!
Bei mir kommt der Slurp massig am Tag vorbei, liest aber nur die robots.txt. In der robots.txt lasse ich alles zu. (habe sie auch schon ganz herausgenommen) alles ohne Erfolg. Alle anderen Roboter lesen die Seiten. Nur ebene der Slurp von Yahoo nicht.
Hat jemand eine Idee???
Verfasst:
von
SEO Consulting bei
ABAKUS Internet Marketing Erfahrung seit 2002
- persönliche Betreuung
- individuelle Beratung
- kompetente Umsetzung
Jetzt anfragen:
0511 / 300325-0.
Verfasst: 15.03.2004, 12:44
von Webby
Was ist dein URL?
Verfasst: 15.03.2004, 12:57
von hansifix
Es ist eine ganz normale Domain, die ich für einen Freund betreue. Also keine Weiterleitung oder so.
Verfasst: 31.03.2004, 23:01
von diabolo
Hey!
Das selbe Phänomen habe ich auch.
Egal ob ich die robots.txt lösche oder nicht.
Er liest nur diese ein und ist wieder weg.
Wäre toll, wenn einer hier Infos dazu hat.
Gruss Jörg
Verfasst: 19.04.2004, 14:43
von Metaman
infos hab ich leider auch keine,
aber ich hab mir heut morgen den Web Stats Tracker installiert
und konnte bis jetzt von Slurp schon 69 Zugriffe feststellen
darunter war ein einziger Zugriff auf eine Seite, die es jedoch nicht mehr gibt...
Verfasst: 19.04.2004, 15:03
von sean
na, an dem Web Stats Tracker wirds aber nicht gelegen haben dass der Slurp die Dateien einliest

Ich sachs nur, damit Hinsifix jetzt nicht meint das würde sein problem lösen
sean