robots

Beitrag von **Phantom20** » 20.02.2006, 11:40

Hallo,

ich habe in meinem Forum ein Problem mit dupliacte content bekommen nach vielen vielen Monaten. So langsam hat aber google drauf reagiert und handelt, daher muss ich ebenso handeln. Problem bei dieser mod_rewrite Anpassung in meinem Forum war, dass für jeden neuen post eine neue url für den Thread generiert worden ist.

Ich habe nun folgende robots.txt hochgeladen um einige urls auszuschließen. Ist das so richtig?

User-agent: * Disallow:
Disallow: /redir.php
Disallow: /print/
Disallow: /firstnewpost/
Disallow: /nextoldest/
Disallow: /nextnewest/
Disallow: /post/

Danke

von **Anzeige von ABAKUS** »

Beitrag von **Hasenhuf** » 20.02.2006, 16:18

Phantom20 hat geschrieben:Problem bei dieser mod_rewrite Anpassung in meinem Forum war, dass für jeden neuen post eine neue url für den Thread generiert worden ist.

Fehlfunktion oder soll das so sein? Bei letzterem würde ich eine andere Variante einbauen.

Zum Problem kann ich nichts sagen aber es währe schon mal hilfreich die Forensoftware zu nennen (wenn sie sich den Eingeweihten nicht durch die Verzeichnisnamen offenbart).

Beitrag von **Phantom20** » 22.02.2006, 17:20

Hallo,

der hack war einfach an dieser Stelle schlecht durchdachte, pro Beitrag von jemandem innerhalb eines threads gabs eine neue url:

www.domain.de/post/postid/.....html

Somit hatte ein thread mit mehreren beiträgen mehrere urls, daher will ich paar Verzeichnisse nun einfach aussperren.

Ist meine robots.txt so richtig?

User-agent: *

Disallow: /print/
Disallow: /nextnewest/
Disallow: /nextoldest/
Disallow: /firstnewpost/
Disallow: /post/
Disallow: /redir.php

Ich möchte dass googlebot alle Seiten spidert außer die unten angegebenen Verzeichnisse.

Danke.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Hasenhuf** » 22.02.2006, 18:22

Der Syntax ist jedenfalls richtig. Wenn die Verzeichnisse die richtigen sind wird es passen. Manche sagen der Googlebot möchte einzeln angesprochen werden und schlagen folgendes vor:

Code: Alles auswählen

User-agent&#58; Googlebot
Disallow&#58; /print/ 
Disallow&#58; /nextnewest/ 
Disallow&#58; /nextoldest/ 
Disallow&#58; /firstnewpost/ 
Disallow&#58; /post/ 
Disallow&#58; /redir.php 

User-agent&#58; * 
Disallow&#58; /print/ 
Disallow&#58; /nextnewest/ 
Disallow&#58; /nextoldest/ 
Disallow&#58; /firstnewpost/ 
Disallow&#58; /post/ 
Disallow&#58; /redir.php

Beitrag von **Phantom20** » 22.02.2006, 19:11

Hallo Hasenfuß,

danke für dein Beitrag.

Kann jemand zu dieser Thematik noch was sagen? Hat jemand Erfahrungen mit dem extra ansprechen des googlebots.

Danke

Beitrag von **Phantom20** » 22.02.2006, 19:21

Wie ist das eigentlich wenn ich im Nachhinein ein Verzeichnis was ich in der robots.txt auf disallow gesetzt habe wieder erlaube (so nach 1-2 Tagen)? Wirkt sich das für mich negativ aus?

Vielen Dank.

edit:

wenn ich sage:

disallow: /archive/

gilt dass dann auch für /archive/board/
oder /archive/thread/ oder muss ich diese Unetrverzeichnisse im den Hauptverzeichnis /archive/ auch noch mal angeben, also so:

disallow: /archive/
disallow: /archive/board/
disallow: /archive/thread/

Beitrag von **bydlo** » 22.02.2006, 20:36

disallow: /archive/
gilt für den ganzen ordner.
du verbietest damit das soidern eines jeglichen inhalts in diesem ordner (auch alle unterordner)

gruss axel

Beitrag von **Phantom20** » 22.02.2006, 21:13

Vielen Dank!

So jetzt heißt es wohl abwarten, werden jeden Tag sehr viele links rausgeschmissen, viele tauchen auch ohne Beschreibung auf. Index letzter Cache 2. Februar. Habe die entsprechenden Verzeichnisse nun in der robots.txt ausgeschlossen. Hab mal die wichtisten links (/thread/)in eine google sitemap gepackt, sie wurde auch schon runtergeladen, bin mal gespannt. Das Ranking ist eigentlich noch gut geblieben von den noch vorhanden threads.

Ich habe auch das Gefühl dass google eher abstraft wenn doppelter content in verschiedenen Verzeichnissen vorhanden ist. Hier ein Beispiel:

www.domain.de/thread/id/threadname.html
www.domain.de/print/id/threadname.html

wird eher abgestraft

als

www.domain.de/thread/id/threadname.html
www.domain.de/thread/id/threadname_print.html

Kann das irgendjemand bestätigen bzw. sich auch vorstellen?

edit: goole hat nach wenigen Tagen schon reagiert! Die Verzeichnisse / urls, welche in der robots.txt zu finden sind, sind in google alle ohne Beschreibung und Title schon drinnen. Die Startseite und neue Seiten wurden wieder aufgenommen!