MSN hält sich nicht an Robots.txt
Verfasst: 23.01.2005, 04:05
Hallo,
seid ca 14 Tagen Spidert der MSNBot auf meinen Seiten bzw. in meinen Foren rum.
Was auffällt ist das zwar die Robots.txt gelesen wird aber trotzdem verbotene Seiten gespeidert werden.
Und im Index auftauchten (bei der Suche nach der URL)
Stehe ich hier alleine oder geht euch das Ähnlich???
seid ca 14 Tagen Spidert der MSNBot auf meinen Seiten bzw. in meinen Foren rum.
Was auffällt ist das zwar die Robots.txt gelesen wird aber trotzdem verbotene Seiten gespeidert werden.
Und im Index auftauchten (bei der Suche nach der URL)
Stehe ich hier alleine oder geht euch das Ähnlich???
