Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Hohe Serverauslastung durch Suchmaschinenbots.

Alles Rund um Bing, Yahoo! Suche und andere Suchmaschinen.
Neues Thema Antworten
blackbelt82
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 03.03.2012, 09:57

Beitrag von blackbelt82 » 03.03.2012, 10:02

Hallo!

Ich habe derzeit verstärkt Serverabstürze durch verschiedene BOT-Anfragen. Alle paar Sekunden gibt es eine neue Abfrage.

Mein Provider Strato hat mir empfohlen: "Bitte versuchen Sie Anfragen dieser Art mit geeigneten Mitteln (z.b. per .htaccess) zu unterbinden bzw. einzuschränken, damit keine ähnlichen Lastprobleme mehr auftreten können."


Kann mir evtl. jemand schreiben, wie ich das tun kann?


Hier ein Auszug aus den Access-Logs:



66.249.66.0 - - [21/Feb/2012:01:29:38 +0100] \"GET /index.php?site=impressum HTTP/1.1\" 200 48094 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

65.52.108.0 - - [21/Feb/2012:01:29:43 +0100] \"GET /index.php?site=galerie&action=show&picid=17159&groupid=46&rubrikid=19 HTTP/1.1\" 200 55884 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"

65.52.108.0 - - [21/Feb/2012:01:29:48 +0100] \"GET /index.php?site=galerie&action=show&picid=5481&groupid=37&rubrikid=19 HTTP/1.1\" 200 55851 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"

66.249.71.0 - - [21/Feb/2012:01:29:50 +0100] \"GET /galerieshow.php?action=show&picid=18883&refresh=12 HTTP/1.1\" 200 3961 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

176.9.0.0 - - [21/Feb/2012:01:29:53 +0100] \"GET /robots.txt HTTP/1.1\" 404 2547 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

176.9.0.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /fotogalerie/10-03-12-benefiz/thumbnails/DSC_2492.jpg HTTP/1.1\" 200 1588 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

46.4.118.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /robots.txt HTTP/1.1\" 404 2587 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

46.4.118.0 - - [21/Feb/2012:01:29:54 +0100] \"GET /forum/groupcp.php?sid=8c78a9a7b11d7968b099a396406d915b HTTP/1.1\" 404 2675 \"-\" \"Pixray-Seeker/1.1 (Pixray-Seeker; https://www.pixray.com/pixraybot; crawler@pixray.com)\"

2.89.59.0 - - [21/Feb/2012:01:29:58 +0100] \"GET /$= HTTP/1.1\" 404 2563 \"-\" \"Mozilla/5.0 (compatible; 008/0.83; https://www.80legs.com/webcrawler.html) Gecko/2008032620\"

2.89.59.0 - - [21/Feb/2012:01:30:00 +0100] \"GET /referenzen-kommentare-zauerber-michael-stern.php HTTP/1.1\" 200 8629 \"-\" \"Mozilla/5.0 (compatible; 008/0.83; https://www.80legs.com/webcrawler.html) Gecko/2008032620\"

66.249.66.0 - - [21/Feb/2012:01:30:02 +0100] \"GET /siteprint.php?site=gewerbe_detail&gew_ID=1732 HTTP/1.1\" 200 8114 \"-\" \"Mozilla/5.0 (compatible; Googlebot/2.1; +https://www.google.com/bot.html)\"

65.52.108.0 - - [21/Feb/2012:01:30:04 +0100] \"GET /index.php?site=galerie&action=show&picid=15894 HTTP/1.1\" 200 55877 \"-\" \"Mozilla/5.0 (compatible; bingbot/2.0; +https://www.bing.com/bingbot.htm)\"




Vielen Dank!

TBT
PostRank 5
PostRank 5
Beiträge: 306
Registriert: 13.02.2008, 16:11

Beitrag von TBT » 03.03.2012, 10:16

Eventuell mal die Datenbank und Skripte prüfen warum die Abarbeitung so lange dauert.
Die von die gezeigten Abfragen sind doch harmlos. Alle paar Sekunden eine sollte den Server nicht mal ein müdes Lächeln abfordern.

Aus meiner Erfahrung tippe ich auf einen schlecht konfigurierten MySQL
Server, und eine schlecht indizierte Datenbank.

om-labs
PostRank 6
PostRank 6
Beiträge: 422
Registriert: 14.12.2011, 12:58
Wohnort: Hannover

Beitrag von om-labs » 03.03.2012, 14:52

gehe dein access log durch und schliesse alle Bots die du blocken willst via htaccess aus. Zum Beispiel den pixray bot würde ich sperren.
Wie man Hacker, Spammer und ungewünschte Bots sperrt, dazu gibt es genügend Hilfe im Netz.

whyte
PostRank 6
PostRank 6
Beiträge: 367
Registriert: 10.05.2004, 09:40

Beitrag von whyte » 03.03.2012, 15:52

Falls du Bots per Name ausblenden willst, kann dir evtl das helfen:

https://www.server-wissen.de/internet/we ... zusperren/

Ansonsten würde ich diese nur per iptables blocken:

Code: Alles auswählen

iptables -A INPUT -s <ipadresse> -j DROP

holgi74
PostRank 6
PostRank 6
Beiträge: 379
Registriert: 03.02.2007, 14:22
Wohnort: Chemnitz

Beitrag von holgi74 » 04.03.2012, 00:35

Lastprobleme? Bei den paar Zugriffen?

Strato sendet nicht wegen sowas diese Nachricht-. Hier muss was anderes Faul sein.
Hast du einen vserver?


Haltet eure Systeme auf dem laufenden und spielt Sicherheitsupdates schnell ein. Hatte mal bei dem Forum Software Mybb erhebliche Probleme mit einem Angriff wegen einer Sicherheitslücke

Du kannst aber per htaccess die Ips sperren

Order deny,allow
Deny from xx.xx.xx.xx.xx
Deny from xx.xxx.xx.xx.xx

net(t)worker
PostRank 2
PostRank 2
Beiträge: 61
Registriert: 12.02.2012, 02:01

Beitrag von net(t)worker » 04.03.2012, 10:10

stimmt, die paar Abfragen sollten kein Problem sein.... ich tippe hier auch eher auf unsaubere PHP Programmierung und unoptimierte DB...

hast du das PHP Script selber erstellt?

om-labs
PostRank 6
PostRank 6
Beiträge: 422
Registriert: 14.12.2011, 12:58
Wohnort: Hannover

Beitrag von om-labs » 04.03.2012, 11:48

woher wisst ihr um wie viele abfragen es sich dreht?

Bisher wurden keine Zahlen gepostet und das Log ist ein Auszug.
Zieht mal keine schnellen Schlüsse.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag