ich hab da ein Problem. Ich müsste gewisse Inhalte von einer Unterseite für den Crowler nicht sichtbar machen, da ich ansonsten Douplicate Content habe.
Hat da irgendjemand eine Idee? Ganze Seiten kann man verstecken, aber ich hab nichts für den spezifischen Inhalt gefunden.
Wichtig ist nur das Du Google separat ansprichst also wie im Beispiel:
User-agent: *
Disallow: /ordner1/
User-Agent: Googlebot
Disallow: /ordner2/
Gruß
Micha
Suche Linktausch zum Thema Mode. Bitte PM Backlink-Generator | Artikelverzeichnis | PageRank | SEnuke X
Don't smoke, don't fight, don't light no cigarettes,
Or else you'll wind up in the can!
No jokes, no rights, sit tight, don't fool around,
You are a guest of Uncle Sam!
AC/DC "I'll be damned"