robots.txt und wildcards

Beitrag von **rkecom** » 01.11.2006, 09:39

hallo,

wenn ich folgende urls von der indexierung ausschliessen möchte:

www.meinedomain.de/unterordner/eine-datei-nummer1.php
www.meinedomain.de/unterordner/eine-datei-nummer2.php
www.meinedomain.de/unterordner/eine-datei-nummer3.php
usw....

ist folgender eintrag in der robots.txt richtig und wird von allen sumas berücksichtigt:

Disallow: /unterordner/eine-datei-*

danke+gruß,
rené

von **Anzeige von ABAKUS** »

Beitrag von **SloMo** » 01.11.2006, 09:51

Wildcards werden nicht von allen Suchmaschinen erkannt. Mein letzter Stand ist, dass nur Google das unterstützt.

Für Deinen Fall genügt:

Disallow: /unterordner/eine-datei

Wildcard ist unnötig.

Beitrag von **Kralle** » 01.11.2006, 10:26

Jo, Wildcards sind im robots.txt-Standard nicht vorgesehen, sondern so n Google-eigenes Ding. Ich weiß jetzt natürlich nicht wieviele andere Dateien sich noch in dem Ordner befinden, aber ggf. könntest du dann auch mit Allow arbeiten, z. B.:

Code: Alles auswählen

Disallow&#58; /unterordner/
Allow&#58; /unterordner/datei-erlaubt-1.html
Allow&#58; /unterordner/datei-erlaubt-2.html

usw.

von **Anzeige von ABAKUS** »

Beitrag von **rkecom** » 01.11.2006, 10:37

danke,
ja, hatte ich auch gelesen, dass es kein standard ist und wohl nur google es berücksichtigt ... aber wollte nochmal sicher gehen, evtl. hat sich ja was geändert. habe jetzt /unterodner/eine-datei genommen und sicherheitshalber noch ein rel="nofollow" den links beigefügt, da sie nicht weiterverfolgt werden sollen - handelt sich um eine datei, wie die outbound.pl hier im forum.

mit allow geht nicht, sind zu viele andere dateien im unterordner die normal indexiert werden sollen.

müsste ja jetzt reichen um die dateien auszuschliessen.

gruß,
rené

Beitrag von **Kralle** » 01.11.2006, 10:46

nofollow wäre dann aber nur angebracht bei Seiten, die auf diese Seiten verlinken. Ich würde da eher zu einem noindex in den entsprechenden Seiten raten oder zu beidem.

Beitrag von **rkecom** » 01.11.2006, 11:29

hmmm, also so habe ich´s gemacht:

z.b. die seite /unterordner/seite1.php hat unter anderem einen link zur seite /unterordner/eine-datei-nummer1.php

diesem link zur seite /unterordner/eine-datei-nummer1.php gebe ich ein rel="nofollow" mit und sperre die datei /unterordner/eine-datei-nummer1.php per robots.txt.

müsste doch bewirken, dass /unterordner/eine-datei-nummer1.php von den sumas "ignoriert" wird (theoretisch zumindest!).

oder habe ich einen denkfehler?

NACHTRAG: die datei unterordner/eine-datei-nummer1.php enthält nichts weiter als eine weiterleitung zu einem externen link!

Beitrag von **SloMo** » 01.11.2006, 11:36

Ja, passt so.

Beitrag von **Kralle** » 01.11.2006, 13:36

Alles richtig so

Beitrag von **Hobby-SEO** » 03.11.2006, 04:46

Seit wann gehört denn die Allow-Anweisung zum Standard für die robots.txt? Oder geht es hier nur darum, Newbies zu verarschen?

Falls ich ein Spiel verdorben haben sollte, sorry.

LG, Hobby-SEO

Beitrag von **SloMo** » 03.11.2006, 07:36

Hobby-SEO hat geschrieben:Seit wann gehört denn die Allow-Anweisung zum Standard für die robots.txt? Oder geht es hier nur darum, Newbies zu verarschen?

Falls ich ein Spiel verdorben haben sollte, sorry.

LG, Hobby-SEO

Du hast kein Spiel verdorben. Ohne dumme Fragen lernt man nichts. Jedenfalls braucht Dir die Frage nicht unangenehm zu sein, denn ich musste bei Google auch einen kleinen Moment suchen, um die folgende Spezifikation zu finden.

https://www.robotstxt.org/wc/norobots-rfc.html

Habe ich jetzt Dein Spiel verdorben?