Dynamische Seiten aus Index verschwinden lassen

[Downer]

Über die Präsenz der Googlebots auf meiner Seite kann ich mich nicht beklagen. Habe in den Webmaster-Tools die Crawl-Geschwindigkeit auf schnell gestellt.

Allerdings muss ich feststellen, dass die Anzahl der indexierten Seiten bei Google immer weniger werden. Vor 3 Monaten waren es noch insgesamt 650000, jetzt nur noch ca. 225000, tendez fallend.

Eigentlich wollte ich nur statische Seiten aus der SEO des phpBB speichern lassen, die meisten davon sind aber noch aus alten Zeiten viewtopic.php(viele mit sid) -Seiten
Meine Absicht ist es nun alle dynamischen Seiten des phpBB aus dem Googleindex entfernen zu lassen.
Laut dieser Anleitung https://www.google.com/support/webmaste ... swer=35303 kann man dies über die robots.txt machen.

Hilft das?
Meine Vermutung ist nämlich, das es am Double Content liegt.
Oder kann das noch andere Gründe haben?

[Downer]

Merker:
https://www.webdesign-in.de/mts/immer-w ... -gefunden/

Hatte ich schon seit längerem geändert mit dem Topic-Titel vorne.
Funzt auch ganz gut (Rang 1): https://www.google.de/search?sourceid=n ... Vidia+680i

[Downer]

Nochmal zum Thema dyn. Seiten löschen lassen.

Hier steht ja https://www.google.com/support/webmaste ... swer=35303 , dass man das mit

UserAgent: *
Disallow: /*?

geht.


Jetzt steht hier aber https://www.bjoernsworld.de/suchmaschin ... s-txt.html , dass in Disallow kein Wildchar * erlaubt ist.

Hat schonmal jemand das gemacht, und funzt das bei Google?

[Pompom]

Siehe hier:
https://www.google.de/support/webmaster ... swer=40367

Der Googlebot unterstützt entsprechende Suchmuster.

[Downer]

Ich unterdrücke nun das crawlen aller php-Seiten mit Disallow: /*.php
Welches auch laut den Statistiken in den Webmaster-Tools funzt.

Was anderes: Wann aktuallisiert Google eigentlich die robots.txt ? Es werden immer noch Seiten unterdrückt, die garnicht mehr in der robots.txt aufgeführt sind.

Außerdem: Wann werden endlich mal Seiten, die ein 404 oder 401 liefern aus dem Index von Google rausgenommen ? Es werden immer noch Seiten, die einige Jahre alt und nicht mehr vorhanden sind, gecrawlt.