Seite 1 von 1

Hohe Serverauslastung durch Suchmaschinenbots.

Verfasst: 03.03.2012, 10:02
von blackbelt82
Hallo!

Ich habe derzeit verstärkt Serverabstürze durch verschiedene BOT-Anfragen. Alle paar Sekunden gibt es eine neue Abfrage.

Mein Provider Strato hat mir empfohlen: "Bitte versuchen Sie Anfragen dieser Art mit geeigneten Mitteln (z.b. per .htaccess) zu unterbinden bzw. einzuschränken, damit keine ähnlichen Lastprobleme mehr auftreten können."


Kann mir evtl. jemand schreiben, wie ich das tun kann?


Hier ein Auszug aus den Access-Logs:



66.249.66.0 - - [21/Feb/2012:01:29:38 +0100] \"GET /index.php?site=impressum HTTP/1.1\" 200 48094 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

65.52.108.0 - - [21/Feb/2012:01:29:43 +0100] \"GET /index.php?site=galerie&action=show&picid=17159&groupid=46&rubrikid=19 HTTP/1.1\" 200 55884 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"

65.52.108.0 - - [21/Feb/2012:01:29:48 +0100] \"GET /index.php?site=galerie&action=show&picid=5481&groupid=37&rubrikid=19 HTTP/1.1\" 200 55851 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"

66.249.71.0 - - [21/Feb/2012:01:29:50 +0100] \"GET /galerieshow.php?action=show&picid=18883&refresh=12 HTTP/1.1\" 200 3961 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

176.9.0.0 - - [21/Feb/2012:01:29:53 +0100] \"GET /robots.txt HTTP/1.1\" 404 2547 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

176.9.0.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /fotogalerie/10-03-12-benefiz/thumbnails/DSC_2492.jpg HTTP/1.1\" 200 1588 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

46.4.118.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /robots.txt HTTP/1.1\" 404 2587 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

46.4.118.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /forum/groupcp.php?sid=8c78a9a7b11d7968b099a396406d915b HTTP/1.1\" 404 2675 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

2.89.59.0 - - [21/Feb/2012:01:29:58 +0100] \"GET /$= HTTP/1.1\" 404 2563 \"-\" \"Mozilla/5.0 (compatible; 008/0.83; https://www.80legs.com/webcrawler.html) Gecko/2008032620\"

2.89.59.0 - - [21/Feb/2012:01:30:00 +0100] \"GET /referenzen-kommentare-zauerber-michael-stern.php HTTP/1.1\" 200 8629 \"-\" \"Mozilla/5.0 (compatible; 008/0.83; https://www.80legs.com/webcrawler.html) Gecko/2008032620\"

66.249.66.0 - - [21/Feb/2012:01:30:02 +0100] \"GET /siteprint.php?site=gewerbe_detail&gew_ID=1732 HTTP/1.1\" 200 8114 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

65.52.108.0 - - [21/Feb/2012:01:30:04 +0100] \"GET /index.php?site=galerie&action=show&picid=15894 HTTP/1.1\" 200 55877 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"




Vielen Dank!

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 03.03.2012, 10:16
von TBT
Eventuell mal die Datenbank und Skripte prüfen warum die Abarbeitung so lange dauert.
Die von die gezeigten Abfragen sind doch harmlos. Alle paar Sekunden eine sollte den Server nicht mal ein müdes Lächeln abfordern.

Aus meiner Erfahrung tippe ich auf einen schlecht konfigurierten MySQL
Server, und eine schlecht indizierte Datenbank.

Verfasst: 03.03.2012, 14:52
von om-labs
gehe dein access log durch und schliesse alle Bots die du blocken willst via htaccess aus. Zum Beispiel den pixray bot würde ich sperren.
Wie man Hacker, Spammer und ungewünschte Bots sperrt, dazu gibt es genügend Hilfe im Netz.

Verfasst: 03.03.2012, 15:52
von whyte
Falls du Bots per Name ausblenden willst, kann dir evtl das helfen:

https://www.server-wissen.de/internet/w ... zusperren/

Ansonsten würde ich diese nur per iptables blocken:

Code: Alles auswählen

iptables -A INPUT -s <ipadresse> -j DROP

Verfasst: 04.03.2012, 00:35
von holgi74
Lastprobleme? Bei den paar Zugriffen?

Strato sendet nicht wegen sowas diese Nachricht-. Hier muss was anderes Faul sein.
Hast du einen vserver?


Haltet eure Systeme auf dem laufenden und spielt Sicherheitsupdates schnell ein. Hatte mal bei dem Forum Software Mybb erhebliche Probleme mit einem Angriff wegen einer Sicherheitslücke

Du kannst aber per htaccess die Ips sperren

Order deny,allow
Deny from xx.xx.xx.xx.xx
Deny from xx.xxx.xx.xx.xx

Verfasst: 04.03.2012, 10:10
von net(t)worker
stimmt, die paar Abfragen sollten kein Problem sein.... ich tippe hier auch eher auf unsaubere PHP Programmierung und unoptimierte DB...

hast du das PHP Script selber erstellt?

Verfasst: 04.03.2012, 11:48
von om-labs
woher wisst ihr um wie viele abfragen es sich dreht?

Bisher wurden keine Zahlen gepostet und das Log ist ein Auszug.
Zieht mal keine schnellen Schlüsse.