2 kleine Fragen zum robots.txt

[lazy74]

Hallo,

ich habe diverse Seiten, welche ich mit Robots.txt ausschließen möchte.
Alle diese Seiten haben in der URL den Begriff "step3".

Kann ich die mit folgendem Befehl ausschließen?
Disallow: /*_step3_*.html$


Dann noch ne Frage: Auf jeder meiner Seiten steht im Header ein gewisser Text, den ich von Google jedoch nicht als Content einlesen lassen möchte.
Kann ich einzelne Textpassagen durch einen Befehl (ähnlich "nofollow") von der Indizierung ausschließen?

THX

[Andreas84]

Zu deiner 2. Fragen:
Mit Codes in Textpassagen kann man das meines Wissens nicht. Aber meld dich bei "Google webmaster Tools" an. Dort kannst du bestimmen, ob Teile deines Contents nicht gespidert werden sollen.

Gruß,
Andi

[Arnfred]

Binde den Text per JavaScript ein und Google wird ihn nicht einlesen.

[lazy74]

Zu deiner 2. Fragen:
Mit Codes in Textpassagen kann man das meines Wissens nicht. Aber meld dich bei "Google webmaster Tools" an. Dort kannst du bestimmen, ob Teile deines Contents nicht gespidert werden sollen.

Gruß,
Andi

Wo genau kann ich das denn da einstellen? Angemeldet bin ich da...

Kann mir jemand noch eine Antwort zu Frage 1 geben? Nicht, dass ich mit dem Befehl alle meine Seiten sperre, die mit .html enden...

[Arnfred]

Du wählst unter Tools "robot.txt analysieren".

Da kannst du gefahrlos testen ob und wie Google auf Einträge reagiert.

[chris21]

Kurz zu Deiner ersten Frage: nur Google und Yahoo ist in der Lage, diese Anweisung zu verstehen.

Also dafür nicht:

User-agent: *
Disallow /*_step3_*.html$

sondern

User-agent: GoogleBot
Disallow /*_step3_*.html$

und

User-agent: Slurp
Disallow /*_step3_*.html$

Unklar ist für mich gerade, wie der msnbot mit der Regel umgeht, da dort nur eine Wildcard-Regelung für Aussperren bestimmter Dateien nach Dateiendung über Wildcard gegeben wird

(User-agent: msnbot

Disallow: /*.[Dateierweiterung]$

(das "$"-Zeichen ist erforderlich) )

Ansonsten Arnfreds Tipp befolgen und für Google die Regeln bei der Webmaster Tools Console von Google überprüfen.

Dazu muss man allerdings auch sagen, dass Google da manchmal dubiose widersprüchliche Meldungen liefert (GWT liefert über Robots.txt Analyse, dass eine Seite zugelassen ist, zugleich meldet die Crawler-Statistik, dass genau jene Seite aufgrund einer Robots.txt-Regel nicht indexiert wird.)

[lazy74]

Hi,

das mit dem Blockieren läuft nun.

Danke...


Jetzt muss ich nur noch den unerwünschten Text als Java einbauen