ABAKUS

Hallo
@Airport1
Du hast Recht, ein Bot muss sich in der Theorie nicht an die Spielregeln halten.
In der Praxis ist es aber so, dass ein Bot bzw. der Betreiber des Bots, schnell in Ungnade fällt, wenn er es nicht tut.
Unterm Strich, wer sich nicht an diese Spielregel hält, der achtet auch die anderen, für das Miteinander wichtigen, Regeln nicht und darf sich nicht wundern, wenn er mit .htaccess und / oder Teergrube heimgeschickt wird.
Gruss Kristian

das ist ja das worauf ich hinaus will, ein böser bot kann ja auch so programmiert sein, das er die robots.txt ignoriert bzw. Fehler seiten speichert, was wiederum auch schlecht ist für mich.

Airport1 hat geschrieben:Bots muessen sich aber nicht an die robots.txt halten. Man kann auch eine leere robots.txt anlegen, nur um die 404er im Log zu unterbinden, wenn mal ein Bot nach dieser Datei anfraegt..

Jo, genau aus diesem Grund habe ich eine leere robots.txt als auch ein favicon.ico um meine error.log nicht zu sehr "aufzubauschen". Google u. Co. hält sich zumindest bei mir so oder so nicht drann.

Hallo
Versehe ich dich richtig? Google hält sich nicht an deine robots.txt?
Da muss ein Fehler von deiner Seite vorliegen.
Gruss Kristian

also ich weiß das der sich bei mir nicht an die Meta Tags gehalten hat. Trotz eines "index" hat er trotzdem alle links verfolgt

Hallo
@Sololand
Nichts gegen schwarzen Humor oder Ironie, allerdings bei dem Posting überziehst du etwas.
Was sollen Neulinge denken, die dein Posting lesen?
Ausser mir, scheint es hier ohnehin niemanden zu geben, der den Witz überhaupt erkennt.
Ich erlaube mir für die unbedarften mal den Link auf https://de.selfhtml.org/html/kopfdaten/meta.htm
Gruss Kristian

glaube, daß das so ziemlich jeder verstanden hat - Er hat wohl nur 2 Wörter unterschlagen

Kristian hat geschrieben:Hallo
Versehe ich dich richtig? Google hält sich nicht an deine robots.txt?
Da muss ein Fehler von deiner Seite vorliegen.
Gruss Kristian

Kein Plan, schiebe den Fehler mal auf die GoogleTante

lass mich doch

Hallo
@Sololand
> lass mich doch
Gerne, bedenke aber bitte deine Wirkung auf die Masse.
Gruss Kristian