Also wie ihr vielleicht schon mitbekommen habt, oder auch nicht, basteln bull und ich gerade unter dem schönen Namen "Disallow.de" an einer Seite, die versuchen möchte eine umfassende Datenbank über böse Bots, robots.txt-Missachter und ähnliche Spider zu erstellen.
Wer sich dafür interessiert kann sich erstmal folgendes Links anschauen:
https://betamode.de/2005/10/21/disallow-de-die-idee/
https://betamode.de/2005/10/21/disallow ... s-konzept/
Wer das nun gelesen hat weiss ein bisschen Bescheid über das Projekt. Eben dieses Projekt hat seit ein paar Tagen nun auch ein Blog und ein Wiki:
https://disallow.de/blog/
https://disallow.de/wiki/
Und genau bei diesem Wiki, oder besser gesagt einem bestimmten Artikel bin ich nun komplett auf eure Hilfe angewiesen:
Ich würde mich freuen wenn alle, die in ihrer .htaccess ein paar Regeln zusammengesammelt haben mit denen sie die gröbsten Bots von ihren Webseiten fernhalten, diese einfach komplett (evtl mit Angabe von Namen und Emailadresse) unter folgender Adresse zu veröffentlichen:
https://disallow.de/wiki/htaccess
Wer noch nie mit einem Wiki gearbeitet hat: Einfach links unten auf "Edit this page" klicken und dann in dem Textfeld am besten am Ende den Inhalt eurer htaccess-Datei einfügen und den Button "Store" klicken. Damit sollte eure .htaccess dort gespeichert sein.
Diese Seite soll uns ein wenig beim Aufbau unserer Datenbank helfen, denn ich bin sicher einige Webmaster haben hier sich schonmal die Mühe gemacht böse Bots zusammenzusammeln und bei sich in die .htaccess zu hauen.
Danke schonmal im voraus, ich hoffe wir bekommen einiges an Daten zusammen.
