Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Bing Bot legt Seite "fast" Lahm

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Volker2512
PostRank 1
PostRank 1
Beiträge: 3
Registriert: 03.04.2013, 13:17
Wohnort: Norden

Beitrag von Volker2512 » 12.04.2013, 07:31

Hallo,

ich habe seit kurzem das Problem das der bingbot ca 30 - 100 mal auf der Seite ist und die Seite fast lahmlegt.

Ich kann den Bot ja nicht aussperren, da die Rankings in Bing auch nicht unwichtig sind.

Hat vielleicht jemand einen Rat wie ich den Zugriff limitieren kann?

Gruß und Danke!

Seo.gy
PostRank 5
PostRank 5
Beiträge: 218
Registriert: 10.10.2010, 10:40

Beitrag von Seo.gy » 12.04.2013, 08:29

Hallo,

Bing hat mehrere IP-Ranges . da kannst du ruhig einen besonders aufdringlichen sperren.

bbnetch
PostRank 8
PostRank 8
Beiträge: 869
Registriert: 02.06.2005, 17:24
Wohnort: Philippinen

Beitrag von bbnetch » 12.04.2013, 11:00

bist du sicher das es bing ist?
es sind naehmlich einige fake bots unterwegs die sich als bing ausgeben.
google sagt dir ne menge mehr.
suche "bing fake spider" usw., dann wirst schlauer :)

hier findest alle spider ip's
https://www.clientip.net/article/Search- ... er-IP-List

oder versuche mal ob das funkt. schreibe in die robots.txt

User-agent: msnbot
Crawl-delay: 30

oder gleich fuer alle spider:

User-agent: *
Crawl-delay: 30

30=30 sekunden pause zwischendurch, das kannst auch anpassen

sind es aber fake spider, die nur content grabben, oder sonstigen unfug treiben, wird das nicht helfen, dann musst die ips per htaccess sperren.
Geld verdienen im Schlaf und so ...Webmasterforum

Suche Linktausch Thema: Reisen, Philippinen, Ferienwohnung/Apartment, Tauchen, Urlaub etz. PN bitte!
.

DieterW
PostRank 5
PostRank 5
Beiträge: 214
Registriert: 20.03.2013, 14:59

Beitrag von DieterW » 13.04.2013, 15:45

bbnetch hat geschrieben: oder versuche mal ob das funkt. schreibe in die robots.txt

User-agent: msnbot
Crawl-delay: 30

oder gleich fuer alle spider:

User-agent: *
Crawl-delay: 30

30=30 sekunden pause zwischendurch, das kannst auch anpassen
Kaum vorstellbar das sich ein Faker/Harvester an die Regeln der robots.txt hält.
Probleme sind Lösungen in Arbeitskleidung.
------------------------------------------------------
AccessControl die ultimative Schutzsoftware gegen Spammer, Hacker und unerwünschte Besucher.
Support und Service im User Forum
IP-Check wenn Du wissen willst ob Deine IP RBL gelistet ist.

bbnetch
PostRank 8
PostRank 8
Beiträge: 869
Registriert: 02.06.2005, 17:24
Wohnort: Philippinen

Beitrag von bbnetch » 13.04.2013, 19:08

darum steht in meinem beitrag auch:
bist du sicher das es bing ist?
und wenn er das ueberprueft hat, weis er ob es bing ist, oder fakespiders.

und wenn fake, dann steht da noch ganz unten:
sind es aber fake spider, die nur content grabben, oder sonstigen unfug treiben, wird das nicht helfen, dann musst die ips per htaccess sperren.
wenn du schon dein vorredner zitieren musst, dann mach es so das seine aussage richtig wiedergegeben wird!
Geld verdienen im Schlaf und so ...Webmasterforum

Suche Linktausch Thema: Reisen, Philippinen, Ferienwohnung/Apartment, Tauchen, Urlaub etz. PN bitte!
.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag