ABAKUS

Ich habe mein Forum komplet umgebaut.
mod_rewrit, sitemap ect.
Leider indexiert google alles bei mir.
Ich bekomme Einträge ohne Ende.

Leider wurden viel Seiten in der Umbauphase mit einer "sid-" eingetragen.

Dieses versuche ich mit der robot.txt zu unterbinden.

User-agent: Googlebot
Allow: /
Disallow: /community
Disallow: /*sid-
Disallow: /*.php?$


php Seiten sollen nicht eingetragen werde, da ich keinen doppelten Content will.
Seiten mit Session Ids sollen nicht mehr eingetragen werden.
Und den Ordner Community gibt es nicht mehr.

Ist der Code ok?

Was könnte ich sonst noch machen ?
Danke

Gruß

Peter

Ich bin kein Experte, bin aber der Meinung, dass Sternchen (*) in einer Robots.txt nicht so verwendet werden können, wie du es gerne hättest.

ich weis nicht, ob der googlebot den Allow versteht, aber auch wenn, ist dieser falsch verwendet... so wie du ihn verwendest erlaubst du alles...
Allow ist dazu gedacht um Unterbereiche von Dissallow wieder zuzulassen

bsp:

Dissallow /news
Allow /news/today

um alles ausser den heutigen news für bots im ordner news zu sperren...

@networker: Das stimmt nicht ganz was du geschrieben hast ... die Robots.txt ist völlig okay für Google (aber nur für Google).

Kannst du alles bei Google selbst nachlesen ... diese Anweisungen versteht Google problemlos.

Schau einfach mal hier, da nimmt Google selbst zu den Anweisungen Stellung: https://www.google.com/webmasters/bot.html