gemeinsame Spider-Spam-Liste

[mario]

Es wäre sicher sinnvoll, eine gemeinsame Spider-Spam-Liste zu führen. Es tauchen hier im Board immer wieder Einzelanfragen auf, ein Gesamtüberblick aber fehlt. Einfacher wäre vielleicht eine White-List, also all jene zu listen die man zulassen sollte. Welcher Moderator wäre bereit, so eine Liste zu führen und Ergebnisse aus Anfragen dort einfliessen zu lassen? Es muss ja ein Moderator sein wegen den Edit-Rechten.

[sean]

Ich hatte schon überlegt eine DB aufzusetzen. Das wäre gut. Dann kann man vorher auswählen, welche Gruppen man sperren möchte. Die Gruppen sind z.B. Meta Crawler, Content Grabber, Böse User und was weiß ich nicht alles.

Nach Auswahl wird daraus direkt eine valide .htaccess erzeugt, die man auf seinen Server kopieren kann, oder die Inhalte in die bestehende htaccess übernehmen. Oder kann man dort irgendwie includieren?

Ein PHP Script für die User-Server wär auch gut, welches autom. neue Einträge aus der DB in die htaccess schreibt oder so.

Frage ist nur, wer pflegt die DB? Man muß halt sicher sein, dass nicht aus Versehen mal Google gesperrt wird usw.. Ist auch wichtig für das User Vertrauen.

Ich würd Server und DB stellen, evtl. auch Frontend machen. Man kann das dann als eigenes Projekt starten, oder in seo-consulting.de integrieren.

Sinnvoll finde ich die Idee von Mario auf jeden Fall.

Gruß

sean

[-robert-]

hallo,

ich halte whitelists für zu kritisch um sie einzusetzen und unterstütze daher die idee einer blacklist.

da fange ich doch einfach damit an alle spider aufzulisten. dies kann jeder auf nem server ganz easy durchführen:

Code: Alles auswählen

zcat /var/log/apache2/access_log*.gz |awk -F "\"" '{print $6}'  |sort |uniq

dann die entfernen, die erwünscht und bekannt sind. bleiben nur noch 1000 merkwürdige pseudospider. den rest per htaccess
wie schon oft im forum gepostet. nur der gedanke, dass der webserver bei jeder angefragten datei die liste mit 1000 spidern durchackert gefällt mir noch nicht.

gruß
robert

[mario]

@robert

das setzt natürlich voraus, dass eine längere Historie vorliegt, was ja nicht bei allen der Fall ist. Ich bin da für das Interkommunizieren und Erfahrungen sollten ausgetauscht werden. Deine Lösung ist elegant, aber SEO-egoistisch Daraus sollte ja kein Geheimnis, sondern möglichst effektiv den Spammern den Garaus gemacht werden. Sean's Idee finde ich gut. Gesucht wird also ein Spezialist mit guten user-agent Kenntnissen, ein Log-Fuchs eben wie Robert, Bull und v.m. (Aufzählung längst nicht komplett...)
Das wär' doch mal ein schönes Abakus-Projekt.

[bull]

Das wär' doch mal ein schönes Abakus-Projekt.

und ist bereits vor einiger Zeit angedacht worden...allerdings nicht als direktes Abakus-Projekt. Domain gibts auch schon. Gemach, gemach, die Herren!

[mario]

@bull

hehe... Domain bekannt, Server und db in Aussicht dann fehlt nur noch der Manager! Sicher seid ihr schon in Kontakt untereinander...??? *freu*

[sean]

Sicher seid ihr schon in Kontakt untereinander...???

lol

sean