Wie leere Seiten via robots.txt sperren?
Verfasst: 18.08.2011, 18:02
Ich habe im Google Webmaster Tool ca. 7000 Seiten, die als
Nicht gefunden
deklariert sind.
Die meisten haben folgendes Schema:
https://domain.de/index.php?title=Titel ... &redlink=1
Da ist auch kein Inhalt drauf, das sind nur leere Dummy-Seiten. Der richtige Content ist unter https://domain.de/Titel dann zu finden.
Kann ich jetzt einfach in der Robots.txt via:
Disallow: /index.php
all jene URLs sperren für den Crawler?
Nicht gefunden
deklariert sind.
Die meisten haben folgendes Schema:
https://domain.de/index.php?title=Titel ... &redlink=1
Da ist auch kein Inhalt drauf, das sind nur leere Dummy-Seiten. Der richtige Content ist unter https://domain.de/Titel dann zu finden.
Kann ich jetzt einfach in der Robots.txt via:
Disallow: /index.php
all jene URLs sperren für den Crawler?