ABAKUS

Absolut sinnvoll... Alle guten Suchmaschinen halten sich an die robots.txt (und kriegen daher keine Probleme) und der Rest stolpert halt ab und da da rein...

Ich ziehe ab die Methode vor die bots per .htaccess auf IP Basis zu sperren. Dann ist naemlich *sofort* Feierabend.

hmmmm also ich hab mich das auch schon gefragt. Ich sehe es bei mir aber immer wieder, dass der Google-Bot auch in Dateien rumfingert, die eigentlich in der robots gesperrt sind.

Gruß, Dave

sinnvoll? strafbar triffts eher.. siehe thread im rechts forum!

Hi,

@ tron
Danke für den Hinweis. Habe das Thread bei der Suche nicht gefunden. Bin aber beim manuellen Durchblättern draufgstoßen. Auf 'Teergrube für böse Bots' muß man aber auch erst einmal kommen.

So wie ich das verstehe ist es nur ein rechtliches Problem, wenn ich den Bot 'einsperre'. Wenn ich ihn sofort auf eine Seite ohne (sinnvollen) Inhalt umleite, dann sollte es doch kein Problem sein. Letztendlich ist die Umleitung/Sperrung per .htaccess nichts anderes, nur das ich dort die IPs per Hand aktualisieren muß. Oder sehe ich das falsch?

Ein größeres Problem sehe ich allerdings darin, dass Google sich wohl auch nicht immer zu 100% an die robots.txt hält. (Habe ich zumindest hier im Forum gelesen.)

Grüße
MagMo

vorsaetzlich schaden zufuegen ist natuerlich problematisch. auf ne spezielle seite leiten waere legal denk ich

am besten gar keine seite ins netz stellen, dann kann niemand was klauen und sie wird auch von niemandem angeschaut

Ich habe einen Link(leeres Verzeichnis) in meine Seiten eingebaut, der per Robots.txt gesperrt ist.
Yahoo & Google waren da auch schon drin.
Sperre nur von Hand!

Falls Du dedizierte Server betreibst, sperre direkt in Deiner Firewall und nicht über die .htaccess.

mfg Jens

MagMo hat geschrieben: Ein größeres Problem sehe ich allerdings darin, dass Google sich wohl auch nicht immer zu 100% an die robots.txt hält.

Kann ich auch bestätigen!

Was auch wichtig ist, wenn man die Bots per .htaccess oder etc/hosts aussperrt: aufpassen, dass die einem nicht die error_logs bis zum letzten Byte der Festplatte vollschreiben. So passiert bei mir mit dem Miragobot -> Systemabsturz!

fiona hat geschrieben:Was auch wichtig ist, wenn man die Bots per .htaccess oder etc/hosts aussperrt: aufpassen, dass die einem nicht die error_logs bis zum letzten Byte der Festplatte vollschreiben. So passiert bei mir mit dem Miragobot -> Systemabsturz!

Wer seine Logfiles auf der Root-Partition liegen hat, ist selber schuld. Für /var legt man eine eigene Partition an!

cu, Robo

tron hat geschrieben:sinnvoll? strafbar triffts eher.. siehe thread im rechts forum!

Seit wann ist das Aussperren bestimmter IP Adressen strafbar? Es geht hier ja nicht um die Teergrube sondern um eine reine .htaccess Geschichte.