URL je nach Parametern in der Robots.txt ausschliessen

Beitrag von **Spirit** » 27.09.2006, 16:49

Hallo zusammen,

habe eine Frage zur Robots.txt, die ich bisher nicht beantwortet finden konnte. Wenn ich eine URL habe, die folgendermaßen aussieht:

https://www.beispiel.de/index.php

und über diese URL nun verschiedene Seiten aufrufe

z.B.

https://www.beispiel.de/index.php?cat=foo
https://www.beispiel.de/index.php?cat=foo2

Wie kann ich es erreichen, dass durch Google nur bestimmte Seiten gespidert werden. Wenn ich z.B. nur die URL
https://www.beispiel.de/index.php
und sonst keine im Index sehen möchte, wie sieht dann der Eintrag aus?

Gibt es eine Möglichkeit bereits gespiderte Seiten relativ schnell aus dem Google Index zu entfernen, ohne die Seite herunterzunehmen?

1000 Dank und Grüße!

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Hasenhuf** » 27.09.2006, 20:26

Code: Alles auswählen

Disallow&#58; /index.php?

Kann man alles bei google nachlesen.
https://www.google.de/support/webmaster ... swer=40367

Beitrag von **Kralle** » 27.09.2006, 23:04

Spirit hat geschrieben:Wenn ich z.B. nur die URL
https://www.beispiel.de/index.php
und sonst keine im Index sehen möchte, wie sieht dann der Eintrag aus?

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /
Allow&#58; /index.php

Wird aber nicht von allen gleich beachtet.

Guckst du hier: https://www.bjoernsworld.de/suchmaschin ... s-txt.html

Beitrag von **Kralle** » 28.09.2006, 01:11

Die Wildcards sind eine Google-Erfindung, zugegebenermaßen äußerst sinnvoll, entsprechen aber nicht dem Standard.

Beitrag von **Spirit** » 28.09.2006, 14:09

Danke für die Antworten! Das hat mir sehr weitergeholfen.

Noch ne kurze Zwischenfrage: wenn ich nun gewisse Bereich sperre, wann fliegen diese dann aus dem Index (sie sind ja leider schon drin)? Ich meine... spidert Google die Inhalte dann einfach nicht mehr und die Altlasten bleiben drin oder ist GOogle so schlau und schmeist diese dann auch raus?

Beitrag von **Kralle** » 28.09.2006, 16:12

Google schmeißt sie nach und nach raus. Kann durchaus ein paar Monate dauern.