Google indexiert obwohl in robots.txt ausgeschlossen

das Thema war glaub ich schon mal hier, hab aber über die Suche nichts finden können.

Habe für ein Projekt folgende Infos in der Robots.txt.

User-agent: *
Disallow: /red.php
Disallow: /print.php
Disallow: /mailto.php

Jetzt sehe ich heute morgen, dass alle print.php und mailto.php Dokumente indexiert wurden. Das sind praktisch nur doubletten über eine dyn. funktion zum drucken und weiterleiten. Also doppel Content.

Meine Frage: Ich hab die Robots.txt auf windows erstellt. Ich hörte mal, dass es da Probleme gegben kann mit dem Zeilenumbruch wenn die Datei danach auf einen Linux Rechner gespielt wird. Kann es daran liegen, oder muß ich damit leben dass Google sich nicht dran hällt.

sean

Seit wann hast du die robots.txt in dieser Form?

Bedenken Sie jedoch, dass die Änderung der Datei robots.txt auf dem Server oder das Hinzufügen von "META"-Elementen nicht sofort in den Suchergebnissen von Google berücksichtigt werden. Wahrscheinlich wirken sich die von Ihnen vorgenommenen Änderungen erst nach einer Weile auf den Web-Index von Google aus.

via Google

mfg
viggen

sean hat geschrieben: Jetzt sehe ich heute morgen, dass alle print.php und mailto.php Dokumente indexiert wurden.

Hast Du das gesehen im Logfile oder in den Serps?

Werden die Docs in den Serps mit Beschreibung und Cache angezeigt?
Wenn in den Serps nur der Link steht, dann kann es sich um die Information aus einen Link von nicht gesperrten Seiten handeln.

Grüße,
Martin