Seite 1 von 1
Wie leere Seiten via robots.txt sperren?
Verfasst: 18.08.2011, 18:02
von Bodo99
Ich habe im Google Webmaster Tool ca. 7000 Seiten, die als
Nicht gefunden
deklariert sind.
Die meisten haben folgendes Schema:
https://domain.de/index.php?title=Titel ... &redlink=1
Da ist auch kein Inhalt drauf, das sind nur leere Dummy-Seiten. Der richtige Content ist unter
https://domain.de/Titel dann zu finden.
Kann ich jetzt einfach in der Robots.txt via:
Disallow: /index.php
all jene URLs sperren für den Crawler?
Verfasst:
von
Content Erstellung von
ABAKUS Internet Marketing
Ihre Vorteile:
- einzigartige Texte
- suchmaschinenoptimierte Inhalte
- eine sinnvolle Content-Strategie
- Beratung und Umsetzung
Jetzt anfragen:
0511 / 300325-0
Verfasst: 18.08.2011, 18:23
von werbe-muffel
Hallo
Im Prinzip so richtig. Nur habe ich den Eindruck dass Sie nicht genau wissen was Sie machen müssen.
Wenn Sie die falschen Daten eingeben, können alle oder andere wichtige Seiten aus dem Index fliegen.
Stellen Sie ersteinmal fest, wie der genau Aufbau der Seitenstruktur ist.
Betreiben Sie ein Forum oder welches CMS nutzen Sie.
Grüße
Verfasst: 18.08.2011, 18:31
von Bodo99
Es ist
Mediawiki CMS. Interne Verlinkung von Seiten, die noch nicht beschrieben sind werden als:
https://domain.de/index.php?title=Titel ... &redlink=1 verlinkt.
Klickt man drauf, kommt man auf eine leere Erstellungsseite. (bei uns nur von Admins benutzbar) Aber die müssen ja noch nicht in den Index.
Bereits vorhandene, also beschriebene Seiten werden mit:
<a href="/Titel" title="Titel">Titel</a>
verlinkt.
Verfasst: 22.09.2011, 22:41
von Melegrian
Ich weiß nicht ob es passen könnte, in einem ähnlichen Fall habe ich es zumindest so gemacht:
Code: Alles auswählen
if($_GET["redlink"] >= 1){$robots = "noindex,nofollow";}
else {$robots = "index,follow";}
<meta name="robots" content="<?php echo $robots; ?>">
Verfasst: 23.09.2011, 12:35
von chris21
Kann ich jetzt einfach in der Robots.txt via:
Disallow: /index.php
all jene URLs sperren für den Crawler?
Ja.
Allerdings würde ich auch empfehlen, zusätzlich die Lösung von Melegrian zu nutzen, da Google nur wenig auf die Signalwirkung der Robots.txt hört.
Verfasst: 07.10.2011, 15:21
von kalonis
Du kannst in deiner robots.txt diese Zeile hinzufügen:
Dadurch werden alle URLs für den Bot gesperrt, über die eine Seite zum Editieren aufgerufen wird.
