Ihr vergesst die Guten (Whitelist)

Beitrag von **Iq100** » 04.03.2011, 08:18

habe jetzt schon unzählige Beiträge zu robots.txt und .htaccess gelesen und bin da leider nicht ganz so zufrieden:

Da ich jeden Tag cirka 25 Angriffe aus unterschiedlichen Ländern/Ips und von unterschiedlichen Bots bekomme und eigentlich nur am 'sichern' bin finde ich die umgekehrte logik eigentlich besser. Da jeden Tag neue Bad-Bots entwickelt werden, hingegen die Standard-Browser ja eher selten (im Vergleich) aktualisiert werden.

Mich würde also interessieren wie ich alles Sperren kann bis auf bestimmte Referrer?

Wobei ich glaube das bei Whitelists der komplette Referrer angegeben werden muss da ja die Bad-Bots meist auch sowas wie Mozilla 2.0 (compatible ...) enthalten, lieg ich da richtig??

Kann mir irgendwer in dieser Richtung tips, hilfe oder gar beispiele geben?

Danke und Grüße
Iq100

PS: Bevorzugt auf modrewrite da robots.txt hier sowieso eher unrelevant ist

von **Anzeige von ABAKUS** »

Beitrag von **catcat** » 04.03.2011, 10:40

Ja was machen die "bösen" denn bei Dir?
Tun die was, was Deine Site konkret schädigt, verursachen die nur ein bischen traffic oder was tun die überhaupt?

Die Whitelist ist zwar ne nette Idee - ohne Frage - aber die "bösen" bots sind leider auch die schlauen bots... und die tarnen sich einfach als gute bots. Und schon hast Du wieder ein Problem...

Ich kann Dir ja z.B. mit einem kostenlosen WinHTTrack die Site abgrasen. Da kann ich als Referer eingeben was ich will und wie mir der Sinn steht. Das können Profis auch - und noch viel gewitzter.

Du mußt eher danach Auschau halten: Wurde der Quellcode meiner Dateien geändert/erweitert?
Wenn JA... dann mach was!

Beitrag von **Iq100** » 04.03.2011, 22:11

Ja was machen die "bösen" denn bei Dir?
Tun die was, was Deine Site konkret schädigt, verursachen die nur ein bischen traffic oder was tun die überhaupt?

In erster linie nicht viel LOL die meisten versuchen meine Datenbank zu finden, aber das soll jetzt nicht zum thema werden da dies sonst ein
rießen Beitrag werden würde.

Die Whitelist ist zwar ne nette Idee - ohne Frage - aber die "bösen" bots sind leider auch die schlauen bots... und die tarnen sich einfach als gute bots. Und schon hast Du wieder ein Problem...

Ist für mich unlogisch, da dies ja auch umgekehrt möglich ist bzw. wenn die Bots sich Tarnen erkenne ich das ja auch nur an den vermehrten Zugriffen innerhalb kürzester Zeit.

Ich kann Dir ja z.B. mit einem kostenlosen WinHTTrack die Site abgrasen. Da kann ich als Referer eingeben was ich will und wie mir der Sinn steht. Das können Profis auch - und noch viel gewitzter.

Deshalb ist der Ansatz mit einer Whitelist ein guter, denn wenn du heute versuchst unter den Namen BiBaBo meinen Server zu Crawlen dann hast du da auch erfolg, da dieser Eintrag nicht in meiner Liste ist ... danach werde ich den Eintrag einfügen und du wirst die Seite als SiSaSolom erneut erfolgreich Crawlen (also ist Blacklist immer mit Arbeit und Zeit verbunden.)

So viel zur Blacklist Theorie! Bei der Whitelist hingegen wird alles gesperrt bis auf alle bekannten Browserkennungen und Guten Bots. Schon ist Zeit und Arbeit gesparrt und sollten doch noch beim ein oder anderen Bot probleme auftreten kommt noch ein IP-Eintrag hinzu.

PS: Dabei wird zugleich auch jede menge Speicher gesparrt den eine Blacklist wird immer länger als eine Whitelist sein.

Du mußt eher danach Auschau halten: Wurde der Quellcode meiner Dateien geändert/erweitert?
Wenn JA... dann mach was!

Das klingt mir eher wie eine Injection-Mehtode die ja wenig mit Bots zu tun hat, auch wenn eine kriminelle Persönlichkeit einen Injection-Bot
schreiben könnte.

Ich bin der Meinung, das wenn man sich vor Hacking-Attacken schützen will auch wie so einer denken sollte. Das mit der Blacklist ist doch so wie mit einer Nadel im Heuhaufen stochern und der 'Hacker' würde sich zu tote Lachen.

Letztendlich ist es doch so das weder Whitelists noch Blacklists 100%igen schutz bieten können. Die frage ist eben immer nur was besser funktioniert und hier halte ich an Whitelists fest!

Beitrag von **800XE** » 05.03.2011, 00:57

Iq100 hat geschrieben:Bei der Whitelist hingegen wird alles gesperrt bis auf alle bekannten Browserkennungen

Dann liste mal auf die Schnelle alle Galeon und Epipany UAs

und wenn du die wirklich auf die Schnelle listen kannst
dann reich mal ne Liste aller SmartPhoneHandys&Co rüber

Beitrag von **catcat** » 05.03.2011, 03:04

Mist. Da war Andy wieder schneller.
Kann man hier nicht 1x während ner Diskussion pennen gehen, ohne das einem einer die Argumente klaut?

Die Hersteller von browsern sind leider mittlerweile so fix mit updates... guck nur mal in welcher Frequenz die heute diese diversen Firefoxes, Operas und Ihre dutzende Handy/iPad/sonstwas- Browserclone updaten... und dann guck mal in Dinen Logs nach, mit was für Broserkennungen Deine User bei Dir aufschlagen... das geht beim IE3 los und endet beim eben grade erschienen FF3.6.14 mit zig Zusatzmodulen.

Da biste mit ner Blacklist ja schon fast besser dran.

Der Ansatz mit einer Whitelist ist schon ein Guter - nur absolut nicht praktikabel.
Er wäre praktikabel, wenn Du nur ganz bestimmte User hättest und alle anderen aussperren wolltest.
Weil, ein bad bot kann sich immer als ganz normaler User/browser tarnen und Du hast definitv keine Möglichkeit, den zu erkennen...

Wenn ich jetzt böse wäre, würde ich nen bot bei jedem Seitenzugriff durch sämtliche IP-Ranges und Browserkennungen rotieren lassen. Und ich würde auch nicht gleich die ganze Site abgrasen, sondern würde halt 1MIO Seiten ganz langsam abwecheselnd durchschnüffeln.

Wenn Du ne Whitelist machen willst, dann so:

Code: Alles auswählen

# Client-Sperre IE *hehe
RewriteEngine on
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^MSIE.*
RewriteRule ^/.* - &#91;forbidden&#93;

Code: Alles auswählen

# Client-Sperre Sony
RewriteEngine on
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SonyEricsson.*
RewriteRule ^/.* - &#91;forbidden&#93;

Code: Alles auswählen

# Client-Sperre WindowsOS *kommt ganz gut und Du hast 99% weniger Traffic
RewriteEngine on
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Windows.*
RewriteRule ^/.* - &#91;forbidden&#93;

Das Dumme an der Whitelist-Kiste ist halt, das Du alle aussperrst, die Du nicht explizit reinlässt. Entiendes?

Beitrag von **Iq100** » 05.03.2011, 08:53

Sorry das Forum scheint mir nicht seriös

heute stehen doch glatt ein paar einträge in meiner Mysql-log nach einem Wois-Check stellt sich raus das diese anfragen von diesem server stammen ... UND TSCHÜSS!

Beitrag von **Link-Geier** » 06.03.2011, 21:38

Iq100 hat geschrieben:Sorry das Forum scheint mir nicht seriös heute stehen doch glatt ein paar einträge in meiner Mysql-log nach einem Wois-Check stellt sich raus das diese anfragen von diesem server stammen ... UND TSCHÜSS!

Beitrag von **800XE** » 06.03.2011, 23:15

Link-Geier hat geschrieben:
Iq100 hat geschrieben:Sorry das Forum scheint mir nicht seriös heute stehen doch glatt ein paar einträge in meiner Mysql-log nach einem Wois-Check stellt sich raus das diese anfragen von diesem server stammen ... UND TSCHÜSS!

@iq (ist das ein GROßES i? oder LQ)

Was macht die Polizei?
(A) Guten Tag Herr Zmuda, sind Sie der Herr Zmuda
(B) Hallo Einwohnermeldeamt, ist das dort der Herr Zmuda?

nochmal zum GROßEN i
IQ 100 ...... 100%ig nicht richtig .... mindestens 101

Beitrag von **Lord Lommel** » 07.03.2011, 09:52

Er hat in seinem Nick wohl ne Null zuviel...

Beitrag von **swiat** » 07.03.2011, 10:25

Iq100 hat geschrieben:Sorry das Forum scheint mir nicht seriös heute stehen doch glatt ein paar einträge in meiner Mysql-log nach einem Wois-Check stellt sich raus das diese anfragen von diesem server stammen ... UND TSCHÜSS!

Tschüss

Das böse Abakusforum aber auch hmmmm.

Gruss

Beitrag von **OliSEO** » 19.05.2011, 20:56

Hallo zusammen,

bin erst jetzt, aber eben wg. Recherche zum Thema robots.txt hier gelandet. Habe in meiner robots.txt auf Empfehlung dieses Forums die ganze Latte an "Bösen" per Disallow: / aufs Abseitsgleis gestellt ... dachte ich.

Nachdem ich hier nun die ganzen Posts lese ... "Withelist im Prinzip gut" (nichts gegen den Tipp und Verfasser) dann aber auch lese, "... die bösen sind böse, weil sie quasi auf alles eine bessere Antwort haben, sprich immer einen Weg "rein" finden (auch hier nichts gegen die Info und den Verfasser), frage ich mich: robots.txt ganz knicken oder nur User agent: * oder "User agent: * Disallow: / einstellen? ... oder gibt es sowas wie einen Minimum-Standard für die robots.tx. Wenn das eine neue Diskussionsrunde aufmacht, ich lerne gerne dazu

Beitrag von **e-fee** » 20.05.2011, 17:51

Glaubst Du wirklich, ein BÖSER Bot guckt in die robots.txt???

Da musst du schon über die .htaccess gehen.

Beitrag von **OliSEO** » 21.05.2011, 10:21

... deshalb meine ich ja: wozu dann noch eine robots.txt? Ist doch dann für die Mülltonne. Und wenn dem so wäre, könnte man sich hier eine Menge Fragen und Antworten zu dem Thema sparen.

Beitrag von **moutevelidis** » 26.09.2011, 18:01

Inwiefern können denn derartige Angriffe überhaupt stattfinden und was passiert wirklich ?

Beitrag von **Vegas** » 26.09.2011, 23:49

moutevelidis hat geschrieben:Inwiefern können denn derartige Angriffe überhaupt stattfinden und was passiert wirklich ?

Meist recht simple Brute Force Ansätze, etwa der Versuch Loginsysteme bekannter CMS wie Wordpress & Co. zu knacken. Alle 10 Minuten kommt eine neue Anfrage von einer neuen IP mit wechselndem Usernamen und Passwort, beobachte das bei einigen Seiten von mir seit Monaten. Solange viele Leute Standard Usernamen und eher simple Passwörter nutzen eine echte Gefahr.

Oder die suchen gezielt nach bestimmten Schwachstellen, etwa schlampig programmierten Formularen o.ä. die die Ausführung von Code erlauben, bekannten Sicherheitslücken, unsicheren Addons/Plugins für bekannte CMS, die ganze Palette.

Die Tatiken sind weder gezielt noch ausgefeilt, aber das Thema Sicherheit kommt bei vielen Seitenbetreibern leider irgendwo ganz hinten auf der Liste, weshalb diese Schrotflinten Strategie aufzugehen scheint.

Blacklists sind für die Tonne, denn die IPs und Useragents wechseln ständig, Whitelists verursachen zuviele Kollateralschäden.

Im Endeffekt hilft nur häufig und zeitnah Sicherheitsfixes einspielen, Rechte so restriktiv wie möglich vergeben und Vorsicht bei allem was Nutzereingaben zuläßt walten zu lassen. Passwörter sollten Sonderzeichen, Groß- und Kleinschreibung sowie Zahlen enthalten. Alleine damit ist schon viel gewonnen, denn derartige Bots suchen nach leichten Zielen.