Seite 1 von 1

Bing Bot legt Seite "fast" Lahm

Verfasst: 12.04.2013, 07:31
von Volker2512
Hallo,

ich habe seit kurzem das Problem das der bingbot ca 30 - 100 mal auf der Seite ist und die Seite fast lahmlegt.

Ich kann den Bot ja nicht aussperren, da die Rankings in Bing auch nicht unwichtig sind.

Hat vielleicht jemand einen Rat wie ich den Zugriff limitieren kann?

Gruß und Danke!

Verfasst:
von

Verfasst: 12.04.2013, 08:29
von Seo.gy
Hallo,

Bing hat mehrere IP-Ranges . da kannst du ruhig einen besonders aufdringlichen sperren.

Verfasst: 12.04.2013, 11:00
von bbnetch
bist du sicher das es bing ist?
es sind naehmlich einige fake bots unterwegs die sich als bing ausgeben.
google sagt dir ne menge mehr.
suche "bing fake spider" usw., dann wirst schlauer :)

hier findest alle spider ip's
https://www.clientip.net/article/Search ... er-IP-List

oder versuche mal ob das funkt. schreibe in die robots.txt

User-agent: msnbot
Crawl-delay: 30

oder gleich fuer alle spider:

User-agent: *
Crawl-delay: 30

30=30 sekunden pause zwischendurch, das kannst auch anpassen

sind es aber fake spider, die nur content grabben, oder sonstigen unfug treiben, wird das nicht helfen, dann musst die ips per htaccess sperren.

Verfasst:
von

Bing Bot legt Seite "fast" Lahm

Verfasst: 13.04.2013, 15:45
von DieterW
bbnetch hat geschrieben: oder versuche mal ob das funkt. schreibe in die robots.txt

User-agent: msnbot
Crawl-delay: 30

oder gleich fuer alle spider:

User-agent: *
Crawl-delay: 30

30=30 sekunden pause zwischendurch, das kannst auch anpassen
Kaum vorstellbar das sich ein Faker/Harvester an die Regeln der robots.txt hält.

Verfasst: 13.04.2013, 19:08
von bbnetch
darum steht in meinem beitrag auch:
bist du sicher das es bing ist?
und wenn er das ueberprueft hat, weis er ob es bing ist, oder fakespiders.

und wenn fake, dann steht da noch ganz unten:
sind es aber fake spider, die nur content grabben, oder sonstigen unfug treiben, wird das nicht helfen, dann musst die ips per htaccess sperren.
wenn du schon dein vorredner zitieren musst, dann mach es so das seine aussage richtig wiedergegeben wird!