Yahoo (slurp) indexiert Verzeichnis trotz robots.txt-Sperre

Beitrag von **yoogler** » 19.07.2006, 09:18

Hallo!

Ich habe mit folgendem Eintrag einige Verzeichnisse vor der Indexierung gesperrt. Dennoch werden "Seiten" in diesem Unterverzeichnissen (bzw. Unterverzeichnisse innerhalb dieser Verzeichnisse) bei Yahoo gelistet. Im Detail handelt es sich dabei um Stylesheet-Dateien (xyz.css). Im Grunde listet Yahoo ALLE Stylesheet-Dateien auf, die von der Webseite genutzt werden. Es ist doch richtig, dass durch ein "Disallow: /verzeichnis1/" auch sämtliche Unterverzeichnisse mit gesprerrt sind!?

Code: Alles auswählen

User-agent&#58; Slurp
Disallow&#58; /verzeichnis1/
Disallow&#58; /verzeichnis2/
Disallow&#58; /verzeichnis3/
&#40;...&#41;

Hat da jemand eine Lösung? Oder muss ich nur warten, bis Yahoo den index aktualisiert? Die robots.txt ist aber in dieser Form seit einigen Monaten online und wird vom Slurp auch mehrmals täglich gecrawled...

Gruß Yoogler

von **Anzeige von ABAKUS** »

Beitrag von **haha** » 19.07.2006, 11:41

yoogler hat geschrieben:Dennoch werden "Seiten" in diesem Unterverzeichnissen (bzw. Unterverzeichnisse innerhalb dieser Verzeichnisse) bei Yahoo gelistet. Im Detail handelt es sich dabei um Stylesheet-Dateien (xyz.css).

Daran wundert mich am meisten, das Yahoo überhaupt Stylesheet-Dateien einliest. Es ist mir absolut neu (und unverständlich), wieso ein Robot überhaupt auf die Idee kommt, darauf zuzugreifen. Wie hast Du die denn eingebunden? Wird der richtigen MIME-Typ ausgegeben?

Es ist doch richtig, dass durch ein "Disallow: /verzeichnis1/" auch sämtliche Unterverzeichnisse mit gesprerrt sind!?

Ja, genauer gesagt alles, was mit dem angegebenen Text anfängt, eine Unterscheidung zwischen Verzeichnis und Datei findet nicht statt. "/bla" trifft deshalb auf "/bla/blo/bli.html" genauso zu wie auf "/blabla.html".

User-agent: Slurp
Disallow: /verzeichnis1/
Disallow: /verzeichnis2/
Disallow: /verzeichnis3/
(...)

Das ist prinzipiell richtig. Vielleicht (ich fürchte nicht) hilft Dir ein robots.txt-Validator weiter. Wo ist die Datei abgelegt, doch sicher als robots.txt im Wurzelverzeichnis? Steht da noch was drin?

Oder muss ich nur warten, bis Yahoo den index aktualisiert?

Nein, die robots.txt sollte sofort auf das Leseverhalten des Robots durchschlagen. Greift Slurp laut Deiner Protokolle nach Einlesen der robots.txt auf nicht erlaubte URLs zu, stimmt irgendwas nicht.

Mit der Aktualisierung des Index' kann es allerdings in der Tat etwas dauern.

Beitrag von **yoogler** » 19.07.2006, 12:51

hi!

Erst einmal danke für die Antwort! Die Stylesheets sind schon richtig eingebunden (type='text/css'), daran kanns eigentlich nicht liegen.

Die robots.txt hab ich schon zig mal durch zig Validatoren geschickt, alles okay.

Laut den logs crawled slurp "verbotenen" Verzeichnisse auch nicht. Nur irgendwie sind sie reingekommen und verschwinden seit Monaten nicht mehr. Vielleicht brauch ich auch nur noch mehr Gedult.

Gruß Yoogler

Beitrag von **ole1210** » 19.07.2006, 14:38

Die werden nicht verschwinden. Bei mir hat yahoo auch alle css-Files gelistet. Teilweise schon über Jahre! teilweise existieren die Css-dateien auch schon seit Monaten nicht mehr! Das stört die nicht!

Beitrag von **yoogler** » 19.07.2006, 15:02

Na toll...

Ich bin bei der betroffenen Domain mehr daran interessiert, dass nur relevante Einträge gelistet werden, als top Position etc., da es sich um eine private WS handelt.

Macht es Sinn, den Slurp-Bot für eine Weile ganz auszusperren? Werden dann auch wirklich ALLE Einträge gelöscht? Oder bleiben die CSS-Leichten trotzdem gelistet?

Gruß Yoogler

Beitrag von **haha** » 19.07.2006, 17:09

yoogler hat geschrieben:Die Stylesheets sind schon richtig eingebunden (type='text/css'), daran kanns eigentlich nicht liegen.

Liefert der Server auch text/css? Was im HTML-Code steht, ist eine Sache, was der Server liefert, eine andere (wird aber vermutlich auch richtig sein).

Macht es Sinn, den Slurp-Bot für eine Weile ganz auszusperren? Werden dann auch wirklich ALLE Einträge gelöscht?

Ich würde da nicht allzu viel Hoffnung drauf setzen. Slurp liest die URLs ja schon nicht, mehr kann man ihm eigentlich nicht per robots.txt beibringen. Aber Versuch macht bekanntlich kluch… An Dir scheint es jedenfalls nicht zu liegen.