ABAKUS

zu 1.) Das hängt von der Suchmaschine ab, aber grundsätzlich ja, denn eine Bildsuchmaschine wird besitmmt keine PDF-Dateien spidern und Word und Exel-Dateien Spidern die meisten Suchmaschine auch nicht genau wie Archiv und ausführbare Dateien, aber drauf verlassen würde ich mich nicht

zu 2.) soweit ich weis nicht, du mußt dann die Dateien verbieten und den rest freilassen, ansonsten könnte man die robots.txt ja als alternative Sitemap nutzen

zu 3.) Das kommt ganz drauf an, die robots.txt ist in erster Linie dazu gedacht Spider zuzulassen oder auszusperren, und hat vom Grundsatz her nichts mit dem Ranking zu tun. Wenn du jedoch mittels robots.txt alle Spider aussperrst dann wird sich das ganze natürlich negativ auswirken. Ich habe aber mal gehört das es auch Spider gibt die nur Seiten spidern die eine robots.txt besitzen, sind aber nicht allzuviele und vorallem nicht die großen und relevanten.

> tobias

Google spidered exel, pdf und word dateien, man kann sogar gezielt in "erweiterte suche" danach suchen.

cheers
viggen

Moin.
Was ist eigentlich, wenn man keine robots.txt im Verzeichnis hat?

(Wollte bis dato nicht aussperren, nur Test-Domain.) Das ist das Ergebnis.
Okay, 404 ist klar, weil eben nicht vorhanden. Aber 40489?

Weiß das jemand?

Klaus,

der zweite Aufruf sieht mir danach aus, dass dann Deine Domain aufgerufen wurde. Und die '40489' müßte die Größe Deiner Startseite in Byte sein.

Mehr zu Logfiles findest Du in unserem Internet-Lexikon, Stichwort: Logfiles

Hallo Halli.
Recht hast Du.
Danke.