Seite 1 von 1
2 kleine Fragen zum robots.txt
Verfasst: 23.02.2008, 13:57
von lazy74
Hallo,
ich habe diverse Seiten, welche ich mit Robots.txt ausschließen möchte.
Alle diese Seiten haben in der URL den Begriff "step3".
Kann ich die mit folgendem Befehl ausschließen?
Disallow: /*_step3_*.html$
Dann noch ne Frage: Auf jeder meiner Seiten steht im Header ein gewisser Text, den ich von Google jedoch nicht als Content einlesen lassen möchte.
Kann ich einzelne Textpassagen durch einen Befehl (ähnlich "nofollow") von der Indizierung ausschließen?
THX
Verfasst: 23.02.2008, 15:05
von Andreas84
Zu deiner 2. Fragen:
Mit Codes in Textpassagen kann man das meines Wissens nicht. Aber meld dich bei
"Google webmaster Tools" an. Dort kannst du bestimmen, ob Teile deines Contents nicht gespidert werden sollen.
Gruß,
Andi
Verfasst: 23.02.2008, 16:18
von Arnfred
Binde den Text per JavaScript ein und Google wird ihn nicht einlesen.
Verfasst: 23.02.2008, 17:30
von lazy74
Andreas84 hat geschrieben:Zu deiner 2. Fragen:
Mit Codes in Textpassagen kann man das meines Wissens nicht. Aber meld dich bei
"Google webmaster Tools" an. Dort kannst du bestimmen, ob Teile deines Contents nicht gespidert werden sollen.
Gruß,
Andi
Wo genau kann ich das denn da einstellen? Angemeldet bin ich da...
Kann mir jemand noch eine Antwort zu Frage 1 geben? Nicht, dass ich mit dem Befehl alle meine Seiten sperre, die mit .html enden...
Verfasst: 24.02.2008, 09:03
von Arnfred
Du wählst unter Tools "robot.txt analysieren".
Da kannst du gefahrlos testen ob und wie Google auf Einträge reagiert.
Verfasst: 24.02.2008, 14:59
von chris21
Kurz zu Deiner ersten Frage: nur Google und Yahoo ist in der Lage, diese Anweisung zu verstehen.
Also dafür nicht:
User-agent: *
Disallow /*_step3_*.html$
sondern
User-agent: GoogleBot
Disallow /*_step3_*.html$
und
User-agent: Slurp
Disallow /*_step3_*.html$
Unklar ist für mich gerade, wie der msnbot mit der Regel umgeht, da dort nur eine Wildcard-Regelung für Aussperren bestimmter Dateien nach Dateiendung über Wildcard gegeben wird
(User-agent: msnbot
Disallow: /*.[Dateierweiterung]$
(das "$"-Zeichen ist erforderlich) )
Ansonsten Arnfreds Tipp befolgen und für Google die Regeln bei der Webmaster Tools Console von Google überprüfen.
Dazu muss man allerdings auch sagen, dass Google da manchmal dubiose widersprüchliche Meldungen liefert (GWT liefert über Robots.txt Analyse, dass eine Seite zugelassen ist, zugleich meldet die Crawler-Statistik, dass genau jene Seite aufgrund einer Robots.txt-Regel nicht indexiert wird.)
Verfasst: 24.02.2008, 15:27
von lazy74
Hi,
das mit dem Blockieren läuft nun.
Danke...
Jetzt muss ich nur noch den unerwünschten Text als Java einbauen
