ABAKUS

Hallo Forum,

ich meine hier irgendwo mal gelesen zu haben, dass jemand die htaccess andersrum aufgebaut hat, also erstmal alles aussperren, und dann die 'Guten' als allow listen. Ich find das leider momentan nicht wieder. Die Idee halte ich für gar nicht schlecht, weil es ja immer neue bad-bots gibt. Auch die bot-Falle greift ja erst, wenn der spam-bot schon auf der Seite ist.

Könnte natürlich sein, bei gefälschten Referrern etc., dass so eine wihitelist nur noch komplizierter zu pflegen wird, um auf dem neusten Stand zu bleiben Dann lass ichs lieber so wie es ist.

Was haltet ihr von der Idee?
Gibts irgendwo eine Liste der 'Guten' - Browser, Google, MSN und Co?

Danke im voraus für Antworten bzw. Vorschläge

Grüsse
das-tolle-geschenk

das-tolle-geschenk hat geschrieben:die htaccess andersrum aufgebaut hat, also erstmal alles aussperren, und dann die 'Guten' als allow listen. Ich find das leider momentan nicht wieder. Die Idee halte ich für gar nicht schlecht, weil es ja immer neue bad-bots gibt. Auch die bot-Falle greift ja erst, wenn der spam-bot schon auf der Seite ist.

Und wie gedenkst Du normale Besucher zu handhaben, "allow from eindeutig_normaler_browser"? Oder baust Du Deine Seiten ausschließlich für die Robots von Google und Yahoo?

Aber davon abgesehen, wie allow, deny und order funktionieren, steht in der Bedienungsanleitung Deines Webservers, vermutlich https://httpsd.apache.org/docs/2.2/mod/ ... _host.html.

Die User-agents von "normalen" Besuchern fangen allesamt mit Mozilla oder Opera an (jemanden vergessen?)

LG, Hobby-SEO

Danke für eure Antworten.

> baust Du Deine Seiten ausschließlich für die Robots von Google und Yahoo?
tun denn genau das nicht alle SEOs, oder worum gehts bei abakus?

Im Ernst, vllt. sollte ich noch etwas mehr Hintergrund liefern:

Meine htaccess ist momentan noch so rum aufgebaut, dass die mir bekannten badbots ausgesperrt werden. aber es kommen ständig neue hinzu, hier ein neuer Offline-Browser, da ein neuer Spambot, etc. und längst nicht alle tappen in die bot-falle (die zugegebenermaßen im Moment das genialste ist) Aber das wird auch immer mehr, irgendwann wirds zuviel sein, wer kann schon behaupten, dass er auf dem neuesten Stand ist? Um es perfekt pflegen zu können, dazu fehlt vielen auch einfach die Zeit. Trotzdem - wer hat Lust dazu, selbst verfasste Texte Wort für Wort auf irgendwelchen Seiten mit Fremd-Link drunter wieder zu finden...

Man kann die Bedingungen durchaus so setzen, dass Referrer und UserAgent passen müssen, damit der Besuch reingelassen wird. Diese 'Gästeliste' müsste natürlich auch gepflegt und erweitert werden - @hobby-seo: etwas mehr als 2 werdens wohl schon sein
Zusätzlich kann das ja noch über die IP-Adresse gesichert werden. Der Ausdruck 'allow' war von mir etwas ungenau, geht eher um den referrer und damit um 'rewrite'. die htaccess entsprechend zu ändern und zu testen dürfte das geringste Problem sein.

Ob es mit 'whitelist' gut geht oder ob es in die Tonne wandern muss, weil ich an irgendwas nicht gedacht habe, weiss ich noch nicht, das möchte ich als vorsichtiger Mensch hier als ernsthafte Frage in den Raum stellen.
Ich werde auf jeden Fall mal einen Versuch dieser idee auf einem Test-Projekt starten.

Hobby-SEO hat geschrieben:Die User-agents von "normalen" Besuchern fangen allesamt mit Mozilla oder Opera an (jemanden vergessen?)

Bist du dir da so sicher?
Ich kann meinen Browser jeden U-Agent verpassen welchen ich möchte. Angefanhen vom Regulären MSIE bis hin zu einem Google-Bot. Auch kann ich diesen mit Obszönitäten vollknallen.
Wenn ich mit jetzt einen Crawler Programmiere, was ich schonmal gemacht habe, sende ich den U-Agent mit, welchen ich möchte. Genauso verhält es sich auch bei den Bots die die eigene Seite besuchen.

Grüße

Mozilla haben nur Mozilla und IE, Opera nur Opera. Safari, Konqueror, Galeon etc. haben das nicht. Es gibt nicht DIE Browserkennung, an der man 100% festmachen kann, ob das ein User ist oder nicht. Insofern ist so eine Whitelist sinnfrei.

Eine Whitelist ist nicht sinnfrei! Generell ist es eine gute Idee, nur schlecht durchzuführen.

Ne Whitelist anhand des UA ist vollkommen sinnlos. Wenn müsstest du eine Whitelist anhand der IP erstellen. Und das ist extrem aufwändig...

Das wird nichts, nicht an Hand einer Schlipskontrolle. Wo ist der Unterschied zwischen der Pflege einer Liste böser Browserkennungen und der Pflege einer Liste unverdächtiger Browserkennungen, ganz zu schweigen davon, dass es, wie Andy schon schrieb, ein Leichtes ist, die Kennung "original" aussehen zu lassen?

Die Angabe der verweisenden Quelle lässt sich genauso leicht plausibel gestalten wie die Browserkennung.

Das explizite Zulassen von IP-Bereichen bei einer Totalsperre ist gänzlich unklug. Fast das gesamte Spamaufkommen läuft heute über Botnetzwerke aus gekaperten Privatrechnern, gute Bots lassen sich auch zum Abgrasen von Webseiten umfunktionieren.

Kurzum: Du wirst nie alle pösen Puben™ erwischen. Du verschwendest Unmengen an Arbeit und wirst letztlich nur mehr eigentlich erwünschte Besucher aussperren als unerwünschten den Eintritt verweigern.

Mit weniger Aufwand und halbwegs sicher funktionieren dürfte eine versteckte URL, die jede IP für ein paar Stunden aussperrt, die darauf zugreift. Die URL ist in der robots.txt gesperrt und von der Hauptseite aus nur über einen unsichtbaren Verweis zu erreichen.

hi @all, danke für die Antworten.

> Wo ist der Unterschied zwischen der Pflege einer Liste böser Browserkennungen und der Pflege einer Liste unverdächtiger
Browserkennungen

die böse Liste ist länger, oder irre ich mich?

Alle pöpu(tm) erwischen kann ich mit der blacklist genauso wenig. Dank für die Sorge, das es zuviel Arbeit werden könnte , aber die Unmengen an Arbeit gibts mit der blacklist auch, die htaccess wollen ja stets mit neuen IPs und UAs gepflegt werden.

Windy hat geschrieben:Mozilla haben nur Mozilla und IE, Opera nur Opera. Safari, Konqueror, Galeon etc. haben das nicht. Es gibt nicht DIE Browserkennung, an der man 100% festmachen kann, ob das ein User ist oder nicht. Insofern ist so eine Whitelist sinnfrei.

https://www.joergkrusesweb.de/internet/ ... agent.html

LG, Hobby-SEO

Ich hätte ja vorgeschlagen, dass man IP Ranges freigibt, doch Spamskripte können auch lokal von DSL-Anschlüssen aus laufen

habe noch eine ausführliche Liste v. User Agents aufgetan, incl. Browser:

https://www.psychedelix.com/agents/index.shtml

Die Diskussion um die Whitelist war damals schon sehr rege und ein seo guy hat davon gut reden gehabt. Eine Menge arbeit soll es sein - aber mit einer gut gepflegten Whitelist ist man auch gegen lästige SPAM Bots sicher - die auch meinen das Kontaktformular immer und immer wieder zu missbrauchen.

Für eine gut geführte Whitelist wäre ich bereit zu zahlen. Gibt es bereits Leute, die so etwas pflegen gegen Geld?

Grüße
OverflooD