Google Index und robots.txt

Beitrag von **n@no** » 10.03.2004, 05:22

hi
inwieweit ist eine robot.txt nützlich? ich mein, bringt die eigentlich was? wenn ich alle seiten meiner url untereinander verlinkt hab brauche ich dann unbedingt eine robot.txt? werden neue seiten dann schneller erkannt? oder wie soll ich mir den nutzen einer robot.txt vorstellen?
und wie kann ich rausfinden wieviele meiner seiten bereits im googleindex sind.
merci für ne antwort
mfg
nano

von **Anzeige von ABAKUS** »

Beitrag von **symantec** » 10.03.2004, 05:53

robot.txt ist dafür da den Spidern zu sagen welche Seiten sie nicht indexieren sollen.

Wenn Du keine Mitgiederbereiche oder ähnliches hast brauchst Du das Ding auch nicht.

Beitrag von **DER J.** » 10.03.2004, 11:54

Will nicht klugscheissern aber heisst die Datei nicht robots.txt.

Der einzige vorteil ist meiner Meinung nach nur das man bestimmte Crawler aussperren kann die nur unnötigen Traffic verursachen, ala Linkwalker wenn Sie sich dran halten.

MfG

P.S.: mit site:<deine addi> oder inurl:<deine addi> kann man sich anzeigel lassen wie viele Seiten sich im Index befinden.

Beitrag von **viggen** » 11.03.2004, 12:47

DER J. hat geschrieben:Will nicht klugscheissern aber heisst die Datei nicht robots.txt.

Genau so is es (Titel geändert)

Nicht zu vergessen ist auch der Vorteil das man mit der robots.txt den Suchmaschinen explizit befehle geben kann gewisse Teilbereiche nicht zu besuchen.

mfg
viggen

Beitrag von **n@no** » 11.03.2004, 14:32

*g* gut, heisst es eben robots.txt.
also wenn man nix zu verbergen hat braucht man auch keine robots.txt. ?! sie hat nix mit dem PR und dem ranking zu tun.