Anweisung in der robots.txt

Beitrag von **subcordem** » 16.03.2006, 01:06

n` Abend, ich habe nirgendwo was passendes gefunden:

Auf meiner php-linkdirectory Seite hat man in den Kategorien die Möglichkeit einer Sortierung über einen Link in zb. folgender Art:

kategrie/?s=H

Ist halt übel mit mod_rewrite zugerichtet.

Rafft meinetwegen der Googlebot folgende Anweisung überhaupt?

Code: Alles auswählen

Disallow&#58; /kategorie/?s=H/

oder

Disallow&#58; /kategorie/?s=H

Oder kommt er mit dieser Anweisung nicht klar und hält sich dann womöglich aus der gesamten /kategorie raus?

von **Anzeige von ABAKUS** »

Beitrag von **DiveSurfer** » 16.03.2006, 10:52

google sollte die sogenannten wildcards unterstützen:

Google unterstützt Wildcards in der robots.txt

Wie es scheint unterstützt Google Wildcards in der robots.txt. Diese Information findet sich auf der Url Removal Seite.

Es ist zum Beispiel möglich alle dynamischen Seiten mit angehängten Url-Parametern mit Hilfe der Wildcard * für Google auszuschließen:

User-agent: Googlebot
Disallow: /*?

Oder wenn man nur Seiten mit bestimmten Parametern ausschließen möchte:

User-agent: Googlebot
Disallow: /*partnerid=

Die Nutzung von Wildcards ist eigentlich nicht im Standard für die robots.txt vorgesehen und wird von anderen Suchmaschinen wohl (leider) nicht unterstützt. Wäre sicherlich begrüßenswert den Standard und die Funktionalität aller Suchmaschinen entsprechend zu erweitern.

Beitrag von **axelm** » 16.03.2006, 12:09

/beispielordner/
bedeutet nur der Ordner die URL

/beispielordner
bedeutet diese URL und alles was sich darunter befindet.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **SloMo** » 16.03.2006, 12:47

axelm hat geschrieben:/beispielordner/
bedeutet nur der Ordner die URL

/beispielordner
bedeutet diese URL und alles was sich darunter befindet.

Irreführend formuliert, finde ich.

/beispielordner/
bedeutet alle Dateien und Ordner unterhalb /beispielordner/

/beispielordner
bedeutet, dass alles, was mit /beispielordner beginnt, nicht verfolgt wird, beispielsweise auch die Pfade /beispielordner.zip, /beispielordner/ und /beispielordner_1/.

In der Robots.txt geht es eigentlich immer nur um den Anfang des Pfades.

Guide to the Robots Exclusion Protocol

Beitrag von **subcordem** » 16.03.2006, 16:48

Das nenne ich ja mal jede Menge Antworten...

Das mit der wildcard hatte ich gestern auch noch per Zufall gefunden.
Dann müsste es wohl so gehen:

Disallow: /*/*?

und da es noch Unterkategorien gibt noch

Disallow: /*/*/*?

Für andere Bots müsste ich dann noch mal sämtliche Kategorien einzeln beim Namen nennen.

Beitrag von **SloMo** » 16.03.2006, 17:13

Die Wildcard-Sache ist nicht dokumentiert. Ich würde nicht mehr als ein einzelnes Wildcard einbauen.

Beitrag von **subcordem** » 16.03.2006, 17:27

Alles klar,bin heute nicht ganz so frisch; stand ja schon weiter oben im thread.

Disallow: /*?

müsste ja demnach für alle Links in samtlichen Ebenen meiner Seite gelten,sobald diese
mit "?" beginnen.

Beitrag von **axelm** » 16.03.2006, 21:39

subcordem hat geschrieben: Disallow: /*?
müsste ja demnach für alle Links in samtlichen Ebenen meiner Seite gelten,sobald diese
mit "?" beginnen.

jo geht mit
domain.de?para=1 und
domain.de/ordner/?para=2
usw.

Beitrag von **subcordem** » 17.03.2006, 17:08

Besten Dank für die aufschlussreichen Worte.