Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

robots.txt & disallow bei website-relaunch

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
Dippes
PostRank 1
PostRank 1
Beiträge: 3
Registriert: 07.05.2013, 09:08
Wohnort: Köln

Beitrag von Dippes » 08.05.2013, 09:41

Hallo zusammen,

habe eine größere Seite relauncht mit etwa 7000 Seiten.

Die Verzeichnisstruktur hat sich geändert.
Damit die externen Links noch abrufbar sind, haben wir alle alten Seiten als Umleitungen auf die entsprechenden neuen Seiten angelegt.

Beispiel alte Seiten:
www.beispieldomain.de/en/XY_1234.html
www.beispieldomain.de/en/XY_1235.html
www.beispieldomain.de/en/XY_1236.html

Damit diese nicht mehr im Index auftauchen haben wir sie in der Robots geblockt durch
Disallow: /en/XY_

FRAGE:
Die Webmastertools-Daten zu indexierten, nicht-indexierten und geblockten Seiten könnten folgenden Schluss zulassen:
Durch das Disallow wurden auch die neuen Seiten hinter den Umleitungen geblockt.
Das kann aber eigentlich nicht sein, oder!?
Da alle neuen Seiten auch in der sitemap.xml submitted wurden...

Kann mir das irgendjemand mit Sicherheit bestätigen? Danke schon mal!
Ich verzweifel ein wenig...
:crazyeyes:

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Melegrian
PostRank 10
PostRank 10
Beiträge: 3170
Registriert: 30.01.2005, 12:36

Beitrag von Melegrian » 08.05.2013, 10:20

Mit Sicherheit nicht, doch wenn der Googlebot in der robots.txt gesagt bekommt, dass die Seiten nicht mehr besucht werden sollten, wird der Googlebot die URLs der Seiten auch nicht mehr aufrufen und wenn Googlebot die Seiten nicht mehr aufruft, kann der Server die nicht mehr erfolgenden Aufrufe auch nicht mehr weiterleiten.
Scripts und Plugins für Cookie-Hinweise

JonasBreuer
PostRank 2
PostRank 2
Beiträge: 37
Registriert: 29.04.2013, 08:44
Wohnort: Siegburg

Beitrag von JonasBreuer » 08.05.2013, 11:50

Sehe ich genau so wie Melegrian. Disallow bedeutet, dass der Bot sich die entsprechenden URLs nicht angucken darf. Er bekommt also die Umleitung gar nicht mit. Du erreichst damit eher das Gegenteil, nämlich dass die alten Seiten länger im Index bleiben.

Fazit: Schmeiß die Anweisung in der robots.txt raus. Durch das 301 wird Google selbst die alten URLs deindizieren und dafür die neuen URLs indizieren.