Welche Verzeichnisse / Seiten per robots.txt sperren?

Beitrag von **RoboTom** » 03.02.2010, 10:48

Hallo zusammen!

Ich überlege mir gerade, ob ich bestimmte Verzeichnisse und Seiten meines Webkatalogs vom Crawlen sperren soll. Ganz genau geht es um solche Seiten wie z.B. "Kontakt aufnehmen" und "Link empfehlen", die neben einem Kontaktformular auch eine kurze Beschreibung, interne und externe Links enthalten. Momentan werden diese Seiten indexiert und stehen oft oberhalb der Detail-Seiten, die logischerweise wichtiger sind und auch viel mehr Content enthalten. Außerdem haben die oben erwähnten Seiten alle dieselben Metatags, was auch nicht gut ist. Dafür wird jeder Eintrag im Verzeichnis gleich mit drei-vier Seiten im Google indexiert. Ob das jetzt so ein großer Vorteil ist? Mehrmals im Forum habe ich gelesen, dass Google nach Qualität, und nicht nach Quantität bewertet. Was würdet ihr mir empfehlen?

von **Anzeige von ABAKUS** »

Beitrag von **Pompom** » 03.02.2010, 11:27

Lange, lange starrte ich in die Glaskugel und dann erschien sie, die Antwort....

Alle.

Beitrag von **Mork vom Ork** » 03.02.2010, 11:38

Nimm alle Seiten in die robots.txt auf, für die sich vermutlich kein Suchender interessiert. Die schon genannten (Kontakt, Empfehlung) aus der Abteilung Verwaltung, Funktionen und anderer Krimskrams gehören sicherlich dazu.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Dauerstress** » 03.02.2010, 13:03

Die Frage, die sich mir da stellt, warum ranken die Seiten denn vor den Detailseiten?

Beitrag von **RoboTom** » 03.02.2010, 19:01

Pompom hat geschrieben:Lange, lange starrte ich in die Glaskugel und dann erschien sie, die Antwort....
Alle.

War meine Frage zu blöd oder was meinst du mit ALLE?

@Mork vom Ork
Alles klar, dann werde ich es wohl so machen. Das ich dadurch viel weniger Seiten im Index habe, ist zu verschmerzen?

@Dauerstress
Das kann ich mir auch nicht erklären. Die oben erwähnten Seiten (wie Kontakt, Empfehlen, Fehler melden) hatten am Anfang überhaupt kein Content, geschweige schon von Keywords. Lediglich einen internen Link zu der Detailseite und einen Externen zu der Website. Dazu haben alle dieselben Metatags wie die Startseite (vielleicht ist das der Grund). Trotzdem landeten die Seiten im Index vor Detailseiten, die reichlich Content und eigene Metatags haben.

Beitrag von **Dauerstress** » 03.02.2010, 22:55

Ich verstehe deine Konstruktion noch nicht so ganz, biete aber z.B. bei meinen Webkatalogen auch die Möglichkeit, zu jedem Eintrag eine Mitteilung an mich zu verschicken. Dies ist praktisch ein Kontaktformular zu jedem Eintrag, in dem der Titel und die zwei Beschreibungstexte noch mal dargestellt werden. Diese Kontaktfomulare habe ich per robots.txt komplett gesperrt, da sie eh nur DC produzieren und in den SERPs nix zu suchen haben.

Beitrag von **Mork vom Ork** » 03.02.2010, 22:57

RoboTom hat geschrieben:
Mork vom Ork hat geschrieben:Nimm alle Seiten in die robots.txt auf, für die sich vermutlich kein Suchender interessiert.
Alles klar, dann werde ich es wohl so machen. Das ich dadurch viel weniger Seiten im Index habe, ist zu verschmerzen?

Das musst du selbst entscheiden. Ich für meinen Teil wüsste nicht, warum ich einen Suchenden mit meinem Kontaktformular oder dem Impressum verwirren sollte, nur, weil das wegen irgendeiner Suchmaschinenmerkwürdigkeit vor dem eigentlich relevanten Ergebnis erscheint - wie bei dir gerade.

Genau dafür hat sich ja jemand die robots.txt ausgedacht, um Indizes von Beiwerk ohne Allgemeininteresse freizuhalten. Wäre es darum gegangen, Robots generell auszusperren, hätte man sich die Disallow-Zeile und insbesondere die Pfadangabe in der Disallow-Zeile gänzlich sparen können.

Falls es dir um die schiere Anzahl an Seiten in Googles Index geht: Google dürfte nicht so dumm sein, dem irgendeine Bedeutung beizumessen.

Beitrag von **RoboTom** » 04.02.2010, 08:17

Dauerstress hat geschrieben:Diese Kontaktfomulare habe ich per robots.txt komplett gesperrt, da sie eh nur DC produzieren ...

Das ist es ja auch, es werden keine DC bei mir produziert, sondern Links im Format: www.domain.info/contact/Firmenname.html. Nur die Beschreibung darunter ist meistens nur Käse, wie z.B. das hier: Neue Firmen menu separator Favoriten menu separator... Ein Grund mehr diese Seiten zu speren.

Ich danke euch für eure Antworten! Sie haben mir sehr geholfen.

Beitrag von **seo-link** » 04.02.2010, 13:51

Alles sperren außer Kategorien, Detailseiten und eigene Content-Seiten mit sauberen Metatags

Beitrag von **RoboTom** » 04.02.2010, 15:00

Jawohl, mein General!

Beitrag von **seo-link** » 16.02.2010, 07:03

Beitrag von **w3news** » 16.02.2010, 15:24

RoboTom hat geschrieben: @Dauerstress
Das kann ich mir auch nicht erklären. Die oben erwähnten Seiten (wie Kontakt, Empfehlen, Fehler melden) hatten am Anfang überhaupt kein Content, geschweige schon von Keywords. Lediglich einen internen Link zu der Detailseite und einen Externen zu der Website. Dazu haben alle dieselben Metatags wie die Startseite (vielleicht ist das der Grund). Trotzdem landeten die Seiten im Index vor Detailseiten, die reichlich Content und eigene Metatags haben.

Die Antwort warum die Seiten vor den Detailseiten landen, hast du meiner Meinung nach selber in deinem ersten Post beantwortet!