Wie leere Seiten via robots.txt sperren?

Beitrag von **Bodo99** » 18.08.2011, 18:02

Ich habe im Google Webmaster Tool ca. 7000 Seiten, die als
Nicht gefunden
deklariert sind.

Die meisten haben folgendes Schema:

https://domain.de/index.php?title=Titel ... &redlink=1

Da ist auch kein Inhalt drauf, das sind nur leere Dummy-Seiten. Der richtige Content ist unter https://domain.de/Titel dann zu finden.

Kann ich jetzt einfach in der Robots.txt via:

Disallow: /index.php

all jene URLs sperren für den Crawler?

von **Anzeige von ABAKUS** »

Beitrag von **werbe-muffel** » 18.08.2011, 18:23

Hallo

Im Prinzip so richtig. Nur habe ich den Eindruck dass Sie nicht genau wissen was Sie machen müssen.
Wenn Sie die falschen Daten eingeben, können alle oder andere wichtige Seiten aus dem Index fliegen.
Stellen Sie ersteinmal fest, wie der genau Aufbau der Seitenstruktur ist.

Betreiben Sie ein Forum oder welches CMS nutzen Sie.

Grüße

Beitrag von **Bodo99** » 18.08.2011, 18:31

Es ist Mediawiki CMS. Interne Verlinkung von Seiten, die noch nicht beschrieben sind werden als:

https://domain.de/index.php?title=Titel ... &redlink=1 verlinkt.

Klickt man drauf, kommt man auf eine leere Erstellungsseite. (bei uns nur von Admins benutzbar) Aber die müssen ja noch nicht in den Index.

Bereits vorhandene, also beschriebene Seiten werden mit:

<a href="/Titel" title="Titel">Titel</a>

verlinkt.

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Melegrian** » 22.09.2011, 22:41

Ich weiß nicht ob es passen könnte, in einem ähnlichen Fall habe ich es zumindest so gemacht:

Code: Alles auswählen

if&#40;$_GET&#91;"redlink"&#93; >= 1&#41;&#123;$robots = "noindex,nofollow";&#125;
else &#123;$robots = "index,follow";&#125;


<meta name="robots" content="<?php echo $robots; ?>">

Beitrag von **chris21** » 23.09.2011, 12:35

Kann ich jetzt einfach in der Robots.txt via:

Disallow: /index.php

all jene URLs sperren für den Crawler?

Ja.

Allerdings würde ich auch empfehlen, zusätzlich die Lösung von Melegrian zu nutzen, da Google nur wenig auf die Signalwirkung der Robots.txt hört.

Beitrag von **kalonis** » 07.10.2011, 15:21

Du kannst in deiner robots.txt diese Zeile hinzufügen:

Code: Alles auswählen

Disallow&#58; /*action=edit

Dadurch werden alle URLs für den Bot gesperrt, über die eine Seite zum Editieren aufgerufen wird.