MSN ignoriert robots.txt

Beitrag von **ole1210** » 23.01.2006, 15:57

Hallo Forum,

habe mich noch nicht großartig mit MSN beschäftigt. Da ich aber stetig mehr Besucher von denen bekomme wollte ich mich da mal reinknien.

Hatte über site:www.*domain*.de abgefragt ob meine Seite ordentlich im Index ist.

Treffer 1:
www.*domain*.de (wie es sein soll)

Treffer 2:
www.*domain*.de/datei.html

Diese datei.html ist aber in der Robots.txt per
User-agent: *
Disallow: /datei.html
gesperrt.

Ist das normal? Muss ich dem auch (wie dem google Bot) ne Extrawurst braten?

Viele GRüße

Ole

von **Anzeige von ABAKUS** »

Beitrag von **misterdiggler1** » 15.04.2006, 08:46

Wersuche vielleicht die Datei noch mit den Meta Tags zu sperren. MSN steht doch auf Meta Tags, vielleicht hilft das.

Beitrag von **Anonymous** » 15.04.2006, 10:44

hat er denn die Datei wirklich gespidert, oder kennt er sie nur von einem Link her?

die robots.txt sagt, ja dass er sie nicht spidern darf, von nichts aufführen wenn er sie durch einen Link kennt steht da ja nix...

Beitrag von **Nikochan** » 17.04.2006, 02:14

Ich habe eine Spider-Falle im Einsatz und da würde ich - falls MSN die robots.txt tatsächlich ignorieren würde - den Bot erkennen. Tu ich aber nicht. Somit gehe ich ebenfalls davon aus, dass die von net(t)worker beschriebene Erklärung zutrifft.

Hat die Datei den eine Description in den SERPs?

Beitrag von **Anonymous** » 21.04.2006, 21:02

würde auch sagen das net(t)worker den nagel auf den kopf getroffen hat

Beitrag von **haha** » 23.04.2006, 16:06

net(t)worker hat geschrieben:die robots.txt sagt, ja dass er sie nicht spidern darf,

Ich würde sogar so weit gehen zu sagen, dass das eine Bitte ist, die URL nicht zu beachten. Ob und wie sich da irgendwer drum schert, ist eine eher philosophische Frage :)

Google führt per robots.txt ausgeschlossene URLs ebenfalls in seinem Index, allerdings ohne einen Titel oder gar Inhalt und möglicherweise mit einer unterirdischen Bewertung, so dass sie nur kommen, wenn man explizit danach sucht.