Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Wie leere Seiten via robots.txt sperren?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Bodo99
PostRank 10
PostRank 10
Beiträge: 3160
Registriert: 04.11.2009, 13:43

Beitrag von Bodo99 » 18.08.2011, 18:02

Ich habe im Google Webmaster Tool ca. 7000 Seiten, die als
Nicht gefunden
deklariert sind.

Die meisten haben folgendes Schema:

https://domain.de/index.php?title=Titel& ... &redlink=1

Da ist auch kein Inhalt drauf, das sind nur leere Dummy-Seiten. Der richtige Content ist unter https://domain.de/Titel dann zu finden.

Kann ich jetzt einfach in der Robots.txt via:

Disallow: /index.php

all jene URLs sperren für den Crawler?

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

werbe-muffel
PostRank 4
PostRank 4
Beiträge: 182
Registriert: 26.04.2011, 08:42

Beitrag von werbe-muffel » 18.08.2011, 18:23

Hallo

Im Prinzip so richtig. Nur habe ich den Eindruck dass Sie nicht genau wissen was Sie machen müssen.
Wenn Sie die falschen Daten eingeben, können alle oder andere wichtige Seiten aus dem Index fliegen.
Stellen Sie ersteinmal fest, wie der genau Aufbau der Seitenstruktur ist.

Betreiben Sie ein Forum oder welches CMS nutzen Sie.

Grüße

Bodo99
PostRank 10
PostRank 10
Beiträge: 3160
Registriert: 04.11.2009, 13:43

Beitrag von Bodo99 » 18.08.2011, 18:31

Es ist Mediawiki CMS. Interne Verlinkung von Seiten, die noch nicht beschrieben sind werden als:

https://domain.de/index.php?title=Titel& ... &redlink=1 verlinkt.

Klickt man drauf, kommt man auf eine leere Erstellungsseite. (bei uns nur von Admins benutzbar) Aber die müssen ja noch nicht in den Index.

Bereits vorhandene, also beschriebene Seiten werden mit:

<a href="/Titel" title="Titel">Titel</a>

verlinkt.

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Melegrian
PostRank 10
PostRank 10
Beiträge: 3170
Registriert: 30.01.2005, 12:36

Beitrag von Melegrian » 22.09.2011, 22:41

Ich weiß nicht ob es passen könnte, in einem ähnlichen Fall habe ich es zumindest so gemacht:

Code: Alles auswählen

if&#40;$_GET&#91;"redlink"&#93; >= 1&#41;&#123;$robots = "noindex,nofollow";&#125;
else &#123;$robots = "index,follow";&#125;


<meta name="robots" content="<?php echo $robots; ?>">

chris21
PostRank 9
PostRank 9
Beiträge: 2758
Registriert: 10.04.2005, 18:17

Beitrag von chris21 » 23.09.2011, 12:35

Kann ich jetzt einfach in der Robots.txt via:

Disallow: /index.php

all jene URLs sperren für den Crawler?
Ja.

Allerdings würde ich auch empfehlen, zusätzlich die Lösung von Melegrian zu nutzen, da Google nur wenig auf die Signalwirkung der Robots.txt hört.

kalonis
PostRank 1
PostRank 1
Beiträge: 19
Registriert: 25.01.2011, 16:25

Beitrag von kalonis » 07.10.2011, 15:21

Du kannst in deiner robots.txt diese Zeile hinzufügen:

Code: Alles auswählen

Disallow&#58; /*action=edit
Dadurch werden alle URLs für den Bot gesperrt, über die eine Seite zum Editieren aufgerufen wird.

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag