Indizierung trotz noindex und disallow in der robots.txt

Beitrag von **AGB** » 18.11.2009, 11:34

Hallo,
ich habe einen Seitenbereich, der nicht indexiert werden soll.
Die urls lauten z.B. /test.html?test=test&test2=test2
unterscheiden sich also nur durch die Parameter und der Content ist für Google total irrelevant.

Daher werden die Seiten mit
<meta name="robots" content="NOINDEX">
generiert und in der robots.txt steht:

User-agent: *
Disallow: /test.html

Wenn ich in den Webmastertools teste, wird auch immer angegeben, dass die Seiten gesperrt sind.
"Blockiert für Zeile 25:Disallow: /test.html"

Dieser Zustand besteht jetzt schon seit über einem Jahr und trotzdem habe ich zigtausend urls im index.

von **Anzeige von ABAKUS** »

Beitrag von **Anonymous** » 18.11.2009, 12:01

naja wenn du die seite via. robots.txt sperrst kann der bot die methas gar nicht mehr lesen.

mmmh wobei

*/test.html?=....
nicht gesperrt wurde...

sondern nur test.html

wenn du via robots.txt die seiten auschließen willst müsste da:
*/test.html?* stehen..

Beitrag von **AGB** » 18.11.2009, 12:12

Nein. Ich habe nachgelesen, dass nur vorne Wildcards angegeben werden müssen.
Und wenn ich eine URL mit Parametern in den Webmastertools teste, wird dort ebenfalls angezeigt, dass sie gesperrt ist.

Du meinst also das es sein könnte, dass das die Seiten zuerst indiziert wurden, dann der Eintrag in die robots.txt erfolge und erst zuletzt das nofollow. Habe das Projekt übernommen, daher kann ich die Änderungen nicht mehr nachvollziehen.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Mork vom Ork** » 18.11.2009, 15:05

zuendschnur hat geschrieben:mmmh wobei

*/test.html?=....
nicht gesperrt wurde...

sondern nur test.html

Die Angaben in der robots.txt gelten seit jeher für alle Pfade, die entsprechend beginnen. Disallow: /test.html gilt also für /test.html, für /test.htmlmurks und auch /test.html?blafasel. Disallow: /test würde zusätzlich auf /test, /test/, /test/dings/bumms und auch /testeinszweidrei passen.

Platzhalter braucht man nur, wenn am Anfang oder in der Mitte ein variabler Text steht, aber nicht am Ende.

AGB hat geschrieben:Dieser Zustand besteht jetzt schon seit über einem Jahr und trotzdem habe ich zigtausend urls im index.

Hast du URLs im Index oder Seiten? Dass URLs drin sind, ist vollkommen normal, nicht normal wäre es, wenn auch der Inhalt erscheinen würde.

Beitrag von **AGB** » 19.11.2009, 09:03

Leider sind nicht nur die urls im Index, darüber hatte ich schon bei Matt Cutts gelesen. Es sind reguläre Hits mit Titel, Description und Cache.

Ich habe den Bereicht /test.html jetzt mal über das removal tool entfernt und werde ja sehe, ob sie verschwinden und auch draussen bleiben.