2 kleine Fragen zum robots.txt

Beitrag von **lazy74** » 23.02.2008, 13:57

Hallo,

ich habe diverse Seiten, welche ich mit Robots.txt ausschließen möchte.
Alle diese Seiten haben in der URL den Begriff "step3".

Kann ich die mit folgendem Befehl ausschließen?
Disallow: /*_step3_*.html$

Dann noch ne Frage: Auf jeder meiner Seiten steht im Header ein gewisser Text, den ich von Google jedoch nicht als Content einlesen lassen möchte.
Kann ich einzelne Textpassagen durch einen Befehl (ähnlich "nofollow") von der Indizierung ausschließen?

THX

von **Anzeige von ABAKUS** »

Beitrag von **Andreas84** » 23.02.2008, 15:05

Zu deiner 2. Fragen:
Mit Codes in Textpassagen kann man das meines Wissens nicht. Aber meld dich bei "Google webmaster Tools" an. Dort kannst du bestimmen, ob Teile deines Contents nicht gespidert werden sollen.

Gruß,
Andi

Beitrag von **Arnfred** » 23.02.2008, 16:18

Binde den Text per JavaScript ein und Google wird ihn nicht einlesen.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **lazy74** » 23.02.2008, 17:30

Andreas84 hat geschrieben:Zu deiner 2. Fragen:
Mit Codes in Textpassagen kann man das meines Wissens nicht. Aber meld dich bei "Google webmaster Tools" an. Dort kannst du bestimmen, ob Teile deines Contents nicht gespidert werden sollen.

Gruß,
Andi

Wo genau kann ich das denn da einstellen? Angemeldet bin ich da...

Kann mir jemand noch eine Antwort zu Frage 1 geben? Nicht, dass ich mit dem Befehl alle meine Seiten sperre, die mit .html enden...

Beitrag von **Arnfred** » 24.02.2008, 09:03

Du wählst unter Tools "robot.txt analysieren".

Da kannst du gefahrlos testen ob und wie Google auf Einträge reagiert.

Beitrag von **chris21** » 24.02.2008, 14:59

Kurz zu Deiner ersten Frage: nur Google und Yahoo ist in der Lage, diese Anweisung zu verstehen.

Also dafür nicht:

User-agent: *
Disallow /*_step3_*.html$

sondern

User-agent: GoogleBot
Disallow /*_step3_*.html$

und

User-agent: Slurp
Disallow /*_step3_*.html$

Unklar ist für mich gerade, wie der msnbot mit der Regel umgeht, da dort nur eine Wildcard-Regelung für Aussperren bestimmter Dateien nach Dateiendung über Wildcard gegeben wird

(User-agent: msnbot

Disallow: /*.[Dateierweiterung]$

(das "$"-Zeichen ist erforderlich) )

Ansonsten Arnfreds Tipp befolgen und für Google die Regeln bei der Webmaster Tools Console von Google überprüfen.

Dazu muss man allerdings auch sagen, dass Google da manchmal dubiose widersprüchliche Meldungen liefert (GWT liefert über Robots.txt Analyse, dass eine Seite zugelassen ist, zugleich meldet die Crawler-Statistik, dass genau jene Seite aufgrund einer Robots.txt-Regel nicht indexiert wird.)

Beitrag von **lazy74** » 24.02.2008, 15:27

Hi,

das mit dem Blockieren läuft nun.

Danke...

Jetzt muss ich nur noch den unerwünschten Text als Java einbauen