Wichtikeit der Robots.txt ?

Beitrag von **KUS** » 08.02.2004, 17:29

Wie ich jetzt schon öfter gelesen habe handelt der GoogleBot nach den Anweisngen in der Robost.txt. Was aber tut er wenn er eine solche nicht findet ? Nimmt er die Seite dann überhapt auf ? Verfolgt er die inks etc. ?

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Southmedia** » 08.02.2004, 17:38

Auch wenn der Bot alles Spidern darf sollte man trotzdem eine robots.txt haben. Sosnt wird bei jedem Spiderdurchgang ein Error404 produziert und der Bot könnte sich irritiert zeigen.

Eine robots.txt die alles zulässt sieht folgendermassen aus:

Code: Alles auswählen

User-agent&#58; *
Disallow&#58;

Beitrag von **Anonymous** » 08.02.2004, 18:00

Wie ist das wenn ich mehrere Domains auf einem Server habe, also in den Unterverzeichnissen meiner Hauptdomain (bei HostEurope). Sollte ich dann nur in die Verzeichnisse der einzelnen Domains eine robots.txt legen, oder auch ruhig eine ins Hauptverzeichnis?

Nicht dass Google dann plötzlich alle Domains als Unterverzeichnisse aufnimmt und als Duplikate ansieht...

Beitrag von **Southmedia** » 08.02.2004, 18:19

Google schaut immer im Hauptverzeichnis der Domain. Die Verbindung zwischen den Domains stellt der Bot da nicht her. Wenn der Bot als auf "domain.de/ordner/datei.htm" geht holt er sich vorher die Datei "domain.de/robots.txt".

Beitrag von **Anonymous** » 08.02.2004, 18:28

Gut, ich hatte schon befürchtet damit würde man dem Bot erlauben den kompletten Webspace zu durchsuchen, würde ja zu recht chaotischen Ergebnissen führen.