ABAKUS

Na das ist doch mal ein schöner Titel

Also wie ihr vielleicht schon mitbekommen habt, oder auch nicht, basteln bull und ich gerade unter dem schönen Namen "Disallow.de" an einer Seite, die versuchen möchte eine umfassende Datenbank über böse Bots, robots.txt-Missachter und ähnliche Spider zu erstellen.

Wer sich dafür interessiert kann sich erstmal folgendes Links anschauen:
https://betamode.de/2005/10/21/disallow-de-die-idee/
https://betamode.de/2005/10/21/disallow ... s-konzept/

Wer das nun gelesen hat weiss ein bisschen Bescheid über das Projekt. Eben dieses Projekt hat seit ein paar Tagen nun auch ein Blog und ein Wiki:
https://disallow.de/blog/
https://disallow.de/wiki/

Und genau bei diesem Wiki, oder besser gesagt einem bestimmten Artikel bin ich nun komplett auf eure Hilfe angewiesen:

Ich würde mich freuen wenn alle, die in ihrer .htaccess ein paar Regeln zusammengesammelt haben mit denen sie die gröbsten Bots von ihren Webseiten fernhalten, diese einfach komplett (evtl mit Angabe von Namen und Emailadresse) unter folgender Adresse zu veröffentlichen:

https://disallow.de/wiki/htaccess

Wer noch nie mit einem Wiki gearbeitet hat: Einfach links unten auf "Edit this page" klicken und dann in dem Textfeld am besten am Ende den Inhalt eurer htaccess-Datei einfügen und den Button "Store" klicken. Damit sollte eure .htaccess dort gespeichert sein.

Diese Seite soll uns ein wenig beim Aufbau unserer Datenbank helfen, denn ich bin sicher einige Webmaster haben hier sich schonmal die Mühe gemacht böse Bots zusammenzusammeln und bei sich in die .htaccess zu hauen.

Danke schonmal im voraus, ich hoffe wir bekommen einiges an Daten zusammen.

HI,
Noch eine gute Seite zum Thema:
https://www.leekillough.com/robots.html

"Bad Robots" Falle

RW

RW hat geschrieben:HI,
Noch eine gute Seite zum Thema:
https://www.leekillough.com/robots.html

Wow! Super Seite zum Thema. Endlich
mal hardcore knowledge.

Hier gibt es auch noch Lesestoff: https://www.webmasterworld.com/forum88/4242.htm

Da ich keine Lust habe, meine .htaccess länger als sieben bis acht Meter zu gestalten, werde ich wohl auch eine Variante des Bad Bot Scripts in meine Website einbauen.

Werde dabei auch mit rel="nofollow" arbeiten. Will jemand mit mir wetten, ob auch Google in die Falle läuft?

LG, Hobby-SEO,
der seit dem Update auf 2.0.18 keinen Zugang mehr zum ACP hat

Jo, komisch. Man kommt nicht mehr ins Wiki etc. Wo kann man sich denn anmelden?

Wäre auch stark interessiert...

KRITIK: Schade, die Idee war echt gut, doch die Umsetzung scheint daran zu scheitern dass man das Ganze nur einem sehr sehr kleinen Kreis zugaenglich machen will. Ich bin sicher kein Spammer und eigentlich nicht mal SEO, haette auch sehr gerne mitgemacht und vieles beigetragen (hatte schon Klassifizierungen eingereicht die damals im WIKI aufgenommen wurden!), trotzdem keine Aufnahme.

Hauptkritikpunkt: Der Nutzen fuer die Allgemeinheit ist nicht mehr gegeben!!

Es gibt inzw. daher eine Alternative (siehe Signatur), auch wenns mich echt ankotzt das Rad neu erfinden zu muessen. Ich mache das nicht aus Spass an der Freude, denn es kostet mich auch nur Zeit.

Airport1 hat geschrieben:Hauptkritikpunkt: Der Nutzen fuer die Allgemeinheit ist nicht mehr gegeben!!

Zur Allgemeinheit gehören eben auch die unerwünschten Datensammler. Diese greifen Verbesserungshinweise sehr gerne auf. Sehr viele Bots tarnen sich bereits durch Browserkennungen (und Google-Referer), weil auch die Botbetreiber die veröffentlichten Bad-Bot-Listen lesen können.

Auch die Veröffentlichung von IP-Adressen der Bots will überlegt sein. Fragt euch, wer IPv6 wirklich braucht bzw. warum die IPv4-Adressen knapp werden. Die alten, durch Veröffentlichung "verbrannten" IPs müssen ersetzt werden! Sehr viele IP-Adressen dümpeln nur noch ungenutzt vor sich hin, weil Spammer / Botbetreiber sie missbrauchten und sie auf schwarzen Listen stehen.

Hi Airport,

könntest du vielleicht die Erkenntnisse deiner bot-trap im .htaccess Format auf Anfrage zur Verfügung stellen?

Danke & Gruß,
Thomas

Lutz: ist geplant, siehe Wiki, dort Sperrdatenbank.

Tuerlich muss man aufpassen mit veroeffentlichten Bad Bot Listen. Nur sollte mans wiederum auch nicht gleich derart uebertreiben dass man gar keinen mehr rein laesst

Disallow ist tot: https://disallow.de/blog/2006/07/05/disallow-ist-tot/