Seite 1 von 1

Dynamische Seiten aus Index verschwinden lassen

Verfasst: 14.12.2006, 09:20
von Downer
Über die Präsenz der Googlebots auf meiner Seite kann ich mich nicht beklagen. Habe in den Webmaster-Tools die Crawl-Geschwindigkeit auf schnell gestellt.

Allerdings muss ich feststellen, dass die Anzahl der indexierten Seiten bei Google immer weniger werden. Vor 3 Monaten waren es noch insgesamt 650000, jetzt nur noch ca. 225000, tendez fallend.

Eigentlich wollte ich nur statische Seiten aus der SEO des phpBB speichern lassen, die meisten davon sind aber noch aus alten Zeiten viewtopic.php(viele mit sid) -Seiten
Meine Absicht ist es nun alle dynamischen Seiten des phpBB aus dem Googleindex entfernen zu lassen.
Laut dieser Anleitung https://www.google.com/support/webmaste ... swer=35303 kann man dies über die robots.txt machen.

Hilft das?
Meine Vermutung ist nämlich, das es am Double Content liegt.
Oder kann das noch andere Gründe haben?

Verfasst:
von
Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Verfasst: 14.12.2006, 14:27
von Downer
Merker:
https://www.webdesign-in.de/mts/immer-w ... -gefunden/

Hatte ich schon seit längerem geändert mit dem Topic-Titel vorne.
Funzt auch ganz gut (Rang 1): https://www.google.de/search?sourceid=n ... Vidia+680i

Verfasst: 15.12.2006, 09:21
von Downer
Nochmal zum Thema dyn. Seiten löschen lassen.

Hier steht ja https://www.google.com/support/webmaste ... swer=35303 , dass man das mit

UserAgent: *
Disallow: /*?

geht.


Jetzt steht hier aber https://www.bjoernsworld.de/suchmaschin ... s-txt.html , dass in Disallow kein Wildchar * erlaubt ist.

Hat schonmal jemand das gemacht, und funzt das bei Google?

Verfasst:
von

Verfasst: 15.12.2006, 09:37
von Pompom
Siehe hier:
https://www.google.de/support/webmaster ... swer=40367

Der Googlebot unterstützt entsprechende Suchmuster.

Verfasst: 04.01.2007, 15:11
von Downer
Ich unterdrücke nun das crawlen aller php-Seiten mit Disallow: /*.php
Welches auch laut den Statistiken in den Webmaster-Tools funzt.

Was anderes: Wann aktuallisiert Google eigentlich die robots.txt ? Es werden immer noch Seiten unterdrückt, die garnicht mehr in der robots.txt aufgeführt sind.

Außerdem: Wann werden endlich mal Seiten, die ein 404 oder 401 liefern aus dem Index von Google rausgenommen ? Es werden immer noch Seiten, die einige Jahre alt und nicht mehr vorhanden sind, gecrawlt.