MSN hält sich nicht an Robots.txt

[Gerald79]

Hallo,

seid ca 14 Tagen Spidert der MSNBot auf meinen Seiten bzw. in meinen Foren rum.
Was auffällt ist das zwar die Robots.txt gelesen wird aber trotzdem verbotene Seiten gespeidert werden.
Und im Index auftauchten (bei der Suche nach der URL)

Stehe ich hier alleine oder geht euch das Ähnlich???

[Sephyra]

Hallo Gerald,

dein Thread ist zwar schon etwas älter, aber ich hab das gleiche Prob. Seiten sind bei MSN zu finden, die schon immer durch die robots.txt verboten wurden. Die betroffenen Seiten stehen unter

User-agent: *

Das ganze ist reichlich ärgerlich, da es sich um die "Mehrzahl von Impressum" (wie heißt das bloß?) handelt.

[Hilarius]

Ich kann das bestätigen - reklamiert bitte auch bei den MSN-Leuten!

[Sephyra]

Hab ich angeschrieben. Zurück kam folgende Anleitung, zwar recht zügig, aber der Service von G. ist eben doch besser.

To remove web pages, be sure to correctly use the "NO INDEX, NO FOLLOW"
metatag in your Web page HTML code. Steps are given below on how you can
prevent your web page from being indexed on the MSN Search engine:

1. Edit the HTML code for the page you don't want indexed.

2. Insert the following metatag in the head section of your Web page:

3. Save the changes to your Web page.

Once the no index tag is placed on a site, our automated MSNBot will see
this and remove the site via automated indexing. If there is no metatag
asking the robot not to index, then the site will continue to be in the
search results.



You may also visit the link below for more information on how to control
which pages of your website are indexed:

https://search.msn.com/docs/siteowner.a ... ToSite.htm


MSNBot uses the robots.txt to determine which pages it will index. After
you add or update a robots.txt file, there may be a delay before MSNBot
indexes the changes.

If you have not added or changed the robots.txt file recently, make sure
that the syntax of your robots.txt file is correct. Also, make sure the
robots.txt file is in your site's top-level (root) web server directory.
MSN Search has comprehensive online help available to you. For more
information about features, functions, and issues, click the "Help" link
at the top of any MSN Search page.

[stalker]

vermutlich einfach ein bug der robots.txt interpretation

könntet ihr mal eine robots.txt posten an welche sie der msn bot nicht hält ?

[Sephyra]

User-agent: *
Disallow: /impressum.phtml

#MSN-Bot zuegeln
User-Agent: msnbot
Crawl-Delay: 60
An der richtigen Stelle liegt die robots.txt auch.

Mit Google hab ich da kein Problem. Die halten sich dran.

[Sephyra]

Hi,

nach einer Erweiterung sämtlicher robots.txt um dieses:

User-Agent: msnbot
Disallow: /impressum.phtml

scheinen nun alle betroffenen Seiten aus dem MSN-Index verschwunden zu sein.