URL je nach Parametern in der Robots.txt ausschliessen

[Spirit]

Hallo zusammen,

habe eine Frage zur Robots.txt, die ich bisher nicht beantwortet finden konnte. Wenn ich eine URL habe, die folgendermaßen aussieht:

https://www.beispiel.de/index.php

und über diese URL nun verschiedene Seiten aufrufe

z.B.

https://www.beispiel.de/index.php?cat=foo
https://www.beispiel.de/index.php?cat=foo2

Wie kann ich es erreichen, dass durch Google nur bestimmte Seiten gespidert werden. Wenn ich z.B. nur die URL
https://www.beispiel.de/index.php
und sonst keine im Index sehen möchte, wie sieht dann der Eintrag aus?

Gibt es eine Möglichkeit bereits gespiderte Seiten relativ schnell aus dem Google Index zu entfernen, ohne die Seite herunterzunehmen?

1000 Dank und Grüße!

[Hasenhuf]

Code: Alles auswählen

Disallow: /index.php?

Kann man alles bei google nachlesen.
https://www.google.de/support/webmaster ... swer=40367

[Kralle]

Wenn ich z.B. nur die URL
https://www.beispiel.de/index.php
und sonst keine im Index sehen möchte, wie sieht dann der Eintrag aus?

Code: Alles auswählen

User-agent: *
Disallow: /
Allow: /index.php

Wird aber nicht von allen gleich beachtet.

Guckst du hier: https://www.bjoernsworld.de/suchmaschin ... s-txt.html

[Kralle]

Die Wildcards sind eine Google-Erfindung, zugegebenermaßen äußerst sinnvoll, entsprechen aber nicht dem Standard.

[Spirit]

Danke für die Antworten! Das hat mir sehr weitergeholfen.

Noch ne kurze Zwischenfrage: wenn ich nun gewisse Bereich sperre, wann fliegen diese dann aus dem Index (sie sind ja leider schon drin)? Ich meine... spidert Google die Inhalte dann einfach nicht mehr und die Altlasten bleiben drin oder ist GOogle so schlau und schmeist diese dann auch raus?

[Kralle]

Google schmeißt sie nach und nach raus. Kann durchaus ein paar Monate dauern.