Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Wie leere Seiten via robots.txt sperren?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Bodo99
PostRank 10
PostRank 10
Beiträge: 3160
Registriert: 04.11.2009, 13:43

Beitrag von Bodo99 » 18.08.2011, 18:02

Ich habe im Google Webmaster Tool ca. 7000 Seiten, die als
Nicht gefunden
deklariert sind.

Die meisten haben folgendes Schema:

https://domain.de/index.php?title=Titel& ... &redlink=1

Da ist auch kein Inhalt drauf, das sind nur leere Dummy-Seiten. Der richtige Content ist unter https://domain.de/Titel dann zu finden.

Kann ich jetzt einfach in der Robots.txt via:

Disallow: /index.php

all jene URLs sperren für den Crawler?

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

werbe-muffel
PostRank 4
PostRank 4
Beiträge: 182
Registriert: 26.04.2011, 08:42

Beitrag von werbe-muffel » 18.08.2011, 18:23

Hallo

Im Prinzip so richtig. Nur habe ich den Eindruck dass Sie nicht genau wissen was Sie machen müssen.
Wenn Sie die falschen Daten eingeben, können alle oder andere wichtige Seiten aus dem Index fliegen.
Stellen Sie ersteinmal fest, wie der genau Aufbau der Seitenstruktur ist.

Betreiben Sie ein Forum oder welches CMS nutzen Sie.

Grüße

Bodo99
PostRank 10
PostRank 10
Beiträge: 3160
Registriert: 04.11.2009, 13:43

Beitrag von Bodo99 » 18.08.2011, 18:31

Es ist Mediawiki CMS. Interne Verlinkung von Seiten, die noch nicht beschrieben sind werden als:

https://domain.de/index.php?title=Titel& ... &redlink=1 verlinkt.

Klickt man drauf, kommt man auf eine leere Erstellungsseite. (bei uns nur von Admins benutzbar) Aber die müssen ja noch nicht in den Index.

Bereits vorhandene, also beschriebene Seiten werden mit:

<a href="/Titel" title="Titel">Titel</a>

verlinkt.