Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Indizierung trotz noindex und disallow in der robots.txt

Dieses Forum ist für Informationen über Google gedacht (Ausser PageRank!).
Neues Thema Antworten
AGB
PostRank 5
PostRank 5
Beiträge: 205
Registriert: 28.11.2005, 15:23

Beitrag von AGB » 18.11.2009, 11:34

Hallo,
ich habe einen Seitenbereich, der nicht indexiert werden soll.
Die urls lauten z.B. /test.html?test=test&test2=test2
unterscheiden sich also nur durch die Parameter und der Content ist für Google total irrelevant.

Daher werden die Seiten mit
<meta name="robots" content="NOINDEX">
generiert und in der robots.txt steht:

User-agent: *
Disallow: /test.html

Wenn ich in den Webmastertools teste, wird auch immer angegeben, dass die Seiten gesperrt sind.
"Blockiert für Zeile 25:Disallow: /test.html"

Dieser Zustand besteht jetzt schon seit über einem Jahr und trotzdem habe ich zigtausend urls im index.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

Anonymous

Beitrag von Anonymous » 18.11.2009, 12:01

naja wenn du die seite via. robots.txt sperrst kann der bot die methas gar nicht mehr lesen.

mmmh wobei

*/test.html?=....
nicht gesperrt wurde...

sondern nur test.html

wenn du via robots.txt die seiten auschließen willst müsste da:
*/test.html?* stehen..

AGB
PostRank 5
PostRank 5
Beiträge: 205
Registriert: 28.11.2005, 15:23

Beitrag von AGB » 18.11.2009, 12:12

Nein. Ich habe nachgelesen, dass nur vorne Wildcards angegeben werden müssen.
Und wenn ich eine URL mit Parametern in den Webmastertools teste, wird dort ebenfalls angezeigt, dass sie gesperrt ist.

Du meinst also das es sein könnte, dass das die Seiten zuerst indiziert wurden, dann der Eintrag in die robots.txt erfolge und erst zuletzt das nofollow. Habe das Projekt übernommen, daher kann ich die Änderungen nicht mehr nachvollziehen.