Bing Bot legt Seite "fast" Lahm

Beitrag von **Volker2512** » 12.04.2013, 07:31

Hallo,

ich habe seit kurzem das Problem das der bingbot ca 30 - 100 mal auf der Seite ist und die Seite fast lahmlegt.

Ich kann den Bot ja nicht aussperren, da die Rankings in Bing auch nicht unwichtig sind.

Hat vielleicht jemand einen Rat wie ich den Zugriff limitieren kann?

Gruß und Danke!

von **Anzeige von ABAKUS** »

Beitrag von **Seo.gy** » 12.04.2013, 08:29

Hallo,

Bing hat mehrere IP-Ranges . da kannst du ruhig einen besonders aufdringlichen sperren.

Beitrag von **bbnetch** » 12.04.2013, 11:00

bist du sicher das es bing ist?
es sind naehmlich einige fake bots unterwegs die sich als bing ausgeben.
google sagt dir ne menge mehr.
suche "bing fake spider" usw., dann wirst schlauer

hier findest alle spider ip's
https://www.clientip.net/article/Search ... er-IP-List

oder versuche mal ob das funkt. schreibe in die robots.txt

User-agent: msnbot
Crawl-delay: 30

oder gleich fuer alle spider:

User-agent: *
Crawl-delay: 30

30=30 sekunden pause zwischendurch, das kannst auch anpassen

sind es aber fake spider, die nur content grabben, oder sonstigen unfug treiben, wird das nicht helfen, dann musst die ips per htaccess sperren.

von **Anzeige von ABAKUS** »

Beitrag von **DieterW** » 13.04.2013, 15:45

bbnetch hat geschrieben: oder versuche mal ob das funkt. schreibe in die robots.txt

User-agent: msnbot
Crawl-delay: 30

oder gleich fuer alle spider:

User-agent: *
Crawl-delay: 30

30=30 sekunden pause zwischendurch, das kannst auch anpassen

Kaum vorstellbar das sich ein Faker/Harvester an die Regeln der robots.txt hält.

Beitrag von **bbnetch** » 13.04.2013, 19:08

darum steht in meinem beitrag auch:

bist du sicher das es bing ist?

und wenn er das ueberprueft hat, weis er ob es bing ist, oder fakespiders.

und wenn fake, dann steht da noch ganz unten:

sind es aber fake spider, die nur content grabben, oder sonstigen unfug treiben, wird das nicht helfen, dann musst die ips per htaccess sperren.

wenn du schon dein vorredner zitieren musst, dann mach es so das seine aussage richtig wiedergegeben wird!