Hohe Serverauslastung durch Suchmaschinenbots.

[blackbelt82]

Hallo!

Ich habe derzeit verstärkt Serverabstürze durch verschiedene BOT-Anfragen. Alle paar Sekunden gibt es eine neue Abfrage.

Mein Provider Strato hat mir empfohlen: "Bitte versuchen Sie Anfragen dieser Art mit geeigneten Mitteln (z.b. per .htaccess) zu unterbinden bzw. einzuschränken, damit keine ähnlichen Lastprobleme mehr auftreten können."


Kann mir evtl. jemand schreiben, wie ich das tun kann?


Hier ein Auszug aus den Access-Logs:



66.249.66.0 - - [21/Feb/2012:01:29:38 +0100] \"GET /index.php?site=impressum HTTP/1.1\" 200 48094 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

65.52.108.0 - - [21/Feb/2012:01:29:43 +0100] \"GET /index.php?site=galerie&action=show&picid=17159&groupid=46&rubrikid=19 HTTP/1.1\" 200 55884 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"

65.52.108.0 - - [21/Feb/2012:01:29:48 +0100] \"GET /index.php?site=galerie&action=show&picid=5481&groupid=37&rubrikid=19 HTTP/1.1\" 200 55851 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"

66.249.71.0 - - [21/Feb/2012:01:29:50 +0100] \"GET /galerieshow.php?action=show&picid=18883&refresh=12 HTTP/1.1\" 200 3961 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

176.9.0.0 - - [21/Feb/2012:01:29:53 +0100] \"GET /robots.txt HTTP/1.1\" 404 2547 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

176.9.0.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /fotogalerie/10-03-12-benefiz/thumbnails/DSC_2492.jpg HTTP/1.1\" 200 1588 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

46.4.118.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /robots.txt HTTP/1.1\" 404 2587 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

46.4.118.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /forum/groupcp.php?sid=8c78a9a7b11d7968b099a396406d915b HTTP/1.1\" 404 2675 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

2.89.59.0 - - [21/Feb/2012:01:29:58 +0100] \"GET /$= HTTP/1.1\" 404 2563 \"-\" \"Mozilla/5.0 (compatible; 008/0.83; https://www.80legs.com/webcrawler.html) Gecko/2008032620\"

2.89.59.0 - - [21/Feb/2012:01:30:00 +0100] \"GET /referenzen-kommentare-zauerber-michael-stern.php HTTP/1.1\" 200 8629 \"-\" \"Mozilla/5.0 (compatible; 008/0.83; https://www.80legs.com/webcrawler.html) Gecko/2008032620\"

66.249.66.0 - - [21/Feb/2012:01:30:02 +0100] \"GET /siteprint.php?site=gewerbe_detail&gew_ID=1732 HTTP/1.1\" 200 8114 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

65.52.108.0 - - [21/Feb/2012:01:30:04 +0100] \"GET /index.php?site=galerie&action=show&picid=15894 HTTP/1.1\" 200 55877 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"




Vielen Dank!

[TBT]

Eventuell mal die Datenbank und Skripte prüfen warum die Abarbeitung so lange dauert.
Die von die gezeigten Abfragen sind doch harmlos. Alle paar Sekunden eine sollte den Server nicht mal ein müdes Lächeln abfordern.

Aus meiner Erfahrung tippe ich auf einen schlecht konfigurierten MySQL
Server, und eine schlecht indizierte Datenbank.

[om-labs]

gehe dein access log durch und schliesse alle Bots die du blocken willst via htaccess aus. Zum Beispiel den pixray bot würde ich sperren.
Wie man Hacker, Spammer und ungewünschte Bots sperrt, dazu gibt es genügend Hilfe im Netz.

[whyte]

Falls du Bots per Name ausblenden willst, kann dir evtl das helfen:

https://www.server-wissen.de/internet/w ... zusperren/

Ansonsten würde ich diese nur per iptables blocken:

Code: Alles auswählen

iptables -A INPUT -s <ipadresse> -j DROP

[holgi74]

Lastprobleme? Bei den paar Zugriffen?

Strato sendet nicht wegen sowas diese Nachricht-. Hier muss was anderes Faul sein.
Hast du einen vserver?


Haltet eure Systeme auf dem laufenden und spielt Sicherheitsupdates schnell ein. Hatte mal bei dem Forum Software Mybb erhebliche Probleme mit einem Angriff wegen einer Sicherheitslücke

Du kannst aber per htaccess die Ips sperren

Order deny,allow
Deny from xx.xx.xx.xx.xx
Deny from xx.xxx.xx.xx.xx

[net(t)worker]

stimmt, die paar Abfragen sollten kein Problem sein.... ich tippe hier auch eher auf unsaubere PHP Programmierung und unoptimierte DB...

hast du das PHP Script selber erstellt?

[om-labs]

woher wisst ihr um wie viele abfragen es sich dreht?

Bisher wurden keine Zahlen gepostet und das Log ist ein Auszug.
Zieht mal keine schnellen Schlüsse.