hatte bis vor einiger Zeit im Root-Verzeichnis ne index.php, die dann auch mit verschiedenen Parametern bei google registriert war.
So nach dem Motto: www.domain.de/index.php/verzeichnis/verzeichnis/
Habe jetzt aber seit einiger Zeit als Startseite index.html.
Obwohl ich per robots.txt inzwischen alle Varianten wie:
User-agent: *
Disallow: index.php
Disallow: /index.php/
Disallow: /index.php/verzeichnis/
ausprobiert habe, versucht dieser komische Googlebot immer noch, die indizierten Seiten zu spidern, und kriegt dann jeweils die Fehlermeldung "300 - Multiple Choices" mit Verweis auf die index.html.
Problem ist natürlich, dass der Googlebot darauf soviel Zeit verschwendet, und viel zu wenig die neuen Seiten spidern kann.
Weiss jemand Rat?
Gruß
slinky
