ABAKUS

könnten wir hier im Forum nicht mal eine Liste zusammentragen von allen Crawlern die man aussperren darf resp. soll. Ich meine damit alle Crawler die nur Unfug im Sinn haben, wie beispielsweise solche die auf der Suche nach Emailadressen etc. sind. Eine Liste wo jeder eintragen kann, also editieren darf. Dabei dürfte die Angabe nicht fehlen, was aus seiner Sicht der Crawler genau bezweckt. Das wäre doch auch schon mal ein Beitrag zu Antispam. Oder kennt jemand schon eine solche Liste und wo man sie abrufen kann? Was meint Bugscout, unser Antispam-Experte dazu? Wird der Disallow-Befehl in der robots.txt von solchen Crawlern überhaupt befolgt?

moin mario,

das mit disallow in den robots.txt kannst du knicken.

da kannst du auch ein schild an die haustür machen
"einbrechen verboten".

da wäre es besser auf jeder homepage einen hinweis
zu schreiben, dass die daus nicht auf die spam-mail
klicken sollen.

sowas wie mit den zigarettenschachtel-aufklebern.

grüsse

bugscout hat geschrieben:moin mario,

das mit disallow in den robots.txt kannst du knicken.

da kannst du auch ein schild an die haustür machen
"einbrechen verboten".

da wäre es besser auf jeder homepage einen hinweis
zu schreiben, dass die daus nicht auf die spam-mail
klicken sollen.

sowas wie mit den zigarettenschachtel-aufklebern.

grüsse

also freche Saubande? Respekt- uns skrupellos? Macht den Anschein, schade.... also dann vergessen?
Danke für den Tip

mario hat geschrieben:Wird der Disallow-Befehl in der robots.txt von solchen Crawlern überhaupt befolgt?

Hi,
gerade DIE werden die robots.txt ignorieren, aber auch andere: der Slurp von Inktomi z.B. ignoriert bei mir seine spezielle Anweisung.
Ich nutze momentan auf Websites zur Abwehr von Spam: Die sichtbare Email-Adresse als image und im Linktext das "at" als "@". Läßt sich natürlich auch umgehen.
Bruno

Sollte ja ein Leichtes sein "@" zu detektieren und umzuformen. Also sicher kein probates Mittel. Gibt es eine Möglichkeit via htacess diese Burschen draussen im Regen stehen zu lassen?

Hier sind schon eine reihe von 'böse' robots.

https://www.abakus-internet-marketing.d ... ispiel.txt

So aktuell ist diese liste nicht (stamm aus eine robots.txt artikel die ich im Juni geschrieben habe.) aber ich glöaube die alle noch gilten. Besser wird eine .htaccess schutz.

mario hat geschrieben:also freche Saubande? Respekt- uns skrupellos? Macht den Anschein, schade.... also dann vergessen?

Nö, kannst Du nicht vergessen. Mußt Sie nur mit .htaccess statt der robots.txt aussperren. Übrigens: hier gibt es auch eine gute Suchfunktion .... Schau Dir mal die Lösung von Viggen an.