robots.txt

Beitrag von **telefonmann** » 17.06.2003, 13:19

ich habe heute zum ersten mal eine robots.txt erstellt
https://www.abakus-internet-marketing.d ... -tools.htm

ein paar fragen habe ich dazu noch:

1. werden bestimmte datei-typen grundsaetzlich nicht gespidert?
2. wenn ich ein komplettes verzeichnis vebiete, kann ich einzelne dateien daraus davon ausnehmen?
3. wirkt sich die robots.txt positiv auf das ranking der seite aus?

danke
gruesse
der telefonmann

von **Anzeige von ABAKUS** »

Beitrag von **Noki** » 17.06.2003, 15:33

zu 1.) Das hängt von der Suchmaschine ab, aber grundsätzlich ja, denn eine Bildsuchmaschine wird besitmmt keine PDF-Dateien spidern und Word und Exel-Dateien Spidern die meisten Suchmaschine auch nicht genau wie Archiv und ausführbare Dateien, aber drauf verlassen würde ich mich nicht

zu 2.) soweit ich weis nicht, du mußt dann die Dateien verbieten und den rest freilassen, ansonsten könnte man die robots.txt ja als alternative Sitemap nutzen

zu 3.) Das kommt ganz drauf an, die robots.txt ist in erster Linie dazu gedacht Spider zuzulassen oder auszusperren, und hat vom Grundsatz her nichts mit dem Ranking zu tun. Wenn du jedoch mittels robots.txt alle Spider aussperrst dann wird sich das ganze natürlich negativ auswirken. Ich habe aber mal gehört das es auch Spider gibt die nur Seiten spidern die eine robots.txt besitzen, sind aber nicht allzuviele und vorallem nicht die großen und relevanten.

> tobias

Beitrag von **viggen** » 17.06.2003, 17:29

Google spidered exel, pdf und word dateien, man kann sogar gezielt in "erweiterte suche" danach suchen.

cheers
viggen

Beitrag von **Klaus** » 15.12.2003, 09:52

Moin.
Was ist eigentlich, wenn man keine robots.txt im Verzeichnis hat?

(Wollte bis dato nicht aussperren, nur Test-Domain.)

Code: Alles auswählen

64.68.82.54 - - &#91;14/Dec/2003&#58;12&#58;00&#58;48 +0100&#93; "GET /robots.txt HTTP/1.0" 404 - "-" "Googlebot/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;"
64.68.82.54 - - &#91;14/Dec/2003&#58;12&#58;00&#58;49 +0100&#93; "GET / HTTP/1.0" 200 40489 "-" "Googlebot/2.1 &#40;+http&#58;//www.googlebot.com/bot.html&#41;"

Das ist das Ergebnis.
Okay, 404 ist klar, weil eben nicht vorhanden. Aber 40489?

Weiß das jemand?

Beitrag von **Halli** » 15.12.2003, 10:30

Klaus,

der zweite Aufruf sieht mir danach aus, dass dann Deine Domain aufgerufen wurde. Und die '40489' müßte die Größe Deiner Startseite in Byte sein.

Mehr zu Logfiles findest Du in unserem Internet-Lexikon, Stichwort: Logfiles

Beitrag von **Klaus** » 15.12.2003, 10:38

Hallo Halli.
Recht hast Du.
Danke.