Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Black-List

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Neues Thema Antworten
mario
PostRank 10
PostRank 10
Beiträge: 3112
Registriert: 15.08.2003, 05:46

Beitrag von mario » 13.11.2003, 08:35

könnten wir hier im Forum nicht mal eine Liste zusammentragen von allen Crawlern die man aussperren darf resp. soll. Ich meine damit alle Crawler die nur Unfug im Sinn haben, wie beispielsweise solche die auf der Suche nach Emailadressen etc. sind. Eine Liste wo jeder eintragen kann, also editieren darf. Dabei dürfte die Angabe nicht fehlen, was aus seiner Sicht der Crawler genau bezweckt. Das wäre doch auch schon mal ein Beitrag zu Antispam. Oder kennt jemand schon eine solche Liste und wo man sie abrufen kann? Was meint Bugscout, unser Antispam-Experte dazu? Wird der Disallow-Befehl in der robots.txt von solchen Crawlern überhaupt befolgt?