Robots.txt notwendig?

Beitrag von **Sololand** » 12.11.2005, 10:48

Hallo,

warum macht es Sinn, eine Robots.txt anzulegen. Ich hatte in Erinnerung, das es mal paar böse bots gab, die Content geclont haben, ist dem so?

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **ErwinRommel** » 12.11.2005, 11:08

Eine robots.txt dient dazu dem Bot zu sagen, wo er hin darf und wo nicht. Vielleicht für solche Fragen einfach mal die Suchfunktion hier im Forum oder eine Suchmaschine benutzen? Ist sicherlich schon irgendwo genau erläutert.

Beitrag von **Airport1** » 12.11.2005, 12:18

Bots muessen sich aber nicht an die robots.txt halten. Man kann auch eine leere robots.txt anlegen, nur um die 404er im Log zu unterbinden, wenn mal ein Bot nach dieser Datei anfraegt..

von **Anzeige von ABAKUS** »

Beitrag von **Kristian** » 12.11.2005, 13:11

Hallo
@Airport1
Du hast Recht, ein Bot muss sich in der Theorie nicht an die Spielregeln halten.
In der Praxis ist es aber so, dass ein Bot bzw. der Betreiber des Bots, schnell in Ungnade fällt, wenn er es nicht tut.
Unterm Strich, wer sich nicht an diese Spielregel hält, der achtet auch die anderen, für das Miteinander wichtigen, Regeln nicht und darf sich nicht wundern, wenn er mit .htaccess und / oder Teergrube heimgeschickt wird.
Gruss Kristian

Beitrag von **Sololand** » 12.11.2005, 13:17

das ist ja das worauf ich hinaus will, ein böser bot kann ja auch so programmiert sein, das er die robots.txt ignoriert bzw. Fehler seiten speichert, was wiederum auch schlecht ist für mich.

Beitrag von **ckl** » 12.11.2005, 13:26

Airport1 hat geschrieben:Bots muessen sich aber nicht an die robots.txt halten. Man kann auch eine leere robots.txt anlegen, nur um die 404er im Log zu unterbinden, wenn mal ein Bot nach dieser Datei anfraegt..

Jo, genau aus diesem Grund habe ich eine leere robots.txt als auch ein favicon.ico um meine error.log nicht zu sehr "aufzubauschen". Google u. Co. hält sich zumindest bei mir so oder so nicht drann.

Beitrag von **Kristian** » 12.11.2005, 13:36

Hallo
Versehe ich dich richtig? Google hält sich nicht an deine robots.txt?
Da muss ein Fehler von deiner Seite vorliegen.
Gruss Kristian

Beitrag von **Sololand** » 12.11.2005, 13:41

also ich weiß das der sich bei mir nicht an die Meta Tags gehalten hat. Trotz eines "index" hat er trotzdem alle links verfolgt

Beitrag von **Kristian** » 12.11.2005, 14:39

Hallo
@Sololand
Nichts gegen schwarzen Humor oder Ironie, allerdings bei dem Posting überziehst du etwas.
Was sollen Neulinge denken, die dein Posting lesen?
Ausser mir, scheint es hier ohnehin niemanden zu geben, der den Witz überhaupt erkennt.
Ich erlaube mir für die unbedarften mal den Link auf https://de.selfhtml.org/html/kopfdaten/meta.htm
Gruss Kristian

Beitrag von **ckl** » 12.11.2005, 14:45

glaube, daß das so ziemlich jeder verstanden hat - Er hat wohl nur 2 Wörter unterschlagen

Kristian hat geschrieben:Hallo
Versehe ich dich richtig? Google hält sich nicht an deine robots.txt?
Da muss ein Fehler von deiner Seite vorliegen.
Gruss Kristian

Kein Plan, schiebe den Fehler mal auf die GoogleTante

Beitrag von **Sololand** » 12.11.2005, 15:06

lass mich doch

Beitrag von **Kristian** » 12.11.2005, 15:16

Hallo
@Sololand
> lass mich doch
Gerne, bedenke aber bitte deine Wirkung auf die Masse.
Gruss Kristian