robots.txt

Beitrag von **turgay** » 01.11.2005, 21:06

Hallo miteinander,
auf die Gefahr hin, im falschen Forum zu sein, möchte ich trotzdem mal fragen, ob folgende Einträge in der robots.txt soweit richtig sind (also im Sinne von SUMA-Optimierung und DC).
Es handelt sich um ein PHPBB-Forum.

Code: Alles auswählen

User-agent&#58; *
Disallow&#58; /*?
Disallow&#58; /admin/
Disallow&#58; /db/
Disallow&#58; /images/
Disallow&#58; /includes/
Disallow&#58; /language/
Disallow&#58; /templates/
Disallow&#58; /config
Disallow&#58; /impressum
Disallow&#58; /agb
Disallow&#58; /profile
Disallow&#58; /groupcp
Disallow&#58; /memberlist
Disallow&#58; /modcp
Disallow&#58; /posting
Disallow&#58; /privmsg
Disallow&#58; /viewonline
Disallow&#58; /faq
Disallow&#58; /login
Disallow&#58; /search
Disallow&#58; /common
Disallow&#58; /search
Disallow&#58; /fpost
Disallow&#58; /ptopic
Disallow&#58; /ntopic
Disallow&#58; /post-

Grad diese Einträge machen mich etwas unsicher:
Disallow: /ptopic
Disallow: /ntopic

Vielen Dank einstweilen ...

von **Anzeige von ABAKUS** »

Beitrag von **soultcer** » 01.11.2005, 21:23

Beitrag von **Pompom** » 01.11.2005, 21:35

soultcer,
wetten, daß das beim Googlebot doch funktioniert ?

Disallow: /ptopic
Disallow: /ntopic

Diese Eintragungen sperren alles, was im Root liegt und mit ptopic bzw. ntopic beginnt, d.h. Pfade und Dateien. Wenn es gewünscht ist, ist es richtig, wenn nicht, falsch.

Ich nutze kein phpBB mehr, weshalb ich über Sinn bzw. Unsinn nichts sagen kann.

von **Anzeige von ABAKUS** »

Beitrag von **soultcer** » 01.11.2005, 21:37

Beitrag von **Pompom** » 01.11.2005, 21:54

Stimmt, aber die kleinen Robots bringen nicht mal den doppelten Content in Google rein.

Beitrag von **soultcer** » 01.11.2005, 21:58

Beitrag von **Hobby-SEO** » 01.11.2005, 22:02

Hallo turgay,

auf den ersten Blick scheint mir Deine robots.txt (fast) in Ordnung zu sein. Nur eine kleine Anregung: Wenn Du die Zeile Disallow: /*? benutzt, solltest Du als User-agent: Googlebot angeben.

Für alle anderen Bots - also User-agent: * - wiederholst Du alle Regeln einfach noch einmal, mit Ausnahme der Zeile Disallow: /*?

Ich persönlich würde auch noch Disallow: /index hinzufügen, es sei denn, Deine Forums-Startseite würde index.html oder ähnlich heißen - dann natürlich nicht. Die Index.php sollte aber in der robots.txt ausgeschlossen werden, da Du ja ein Rewriting einsetzt.

Die Zeilen

Disallow: /ptopic
Disallow: /ntopic

dienen zur Vermeidung von doppeltem Content und sind sehr wichtig. Ohne diese Zeilen kann es Dir passieren, dass ein und dieselbe Seite sowohl unter z.B. ftopic33.html als auch ptopic15.html im Google-Index landet, was nicht so toll ist.

Last not least: Deine robots.txt funktioniert natürlich nur, wenn das Forum im Root-Verzeichnis, also im public_html-Ordner, liegt. Anderenfalls müsstest Du die Pfade anpassen. Zum Beispiel: Disallow: /forum/admin/ usw.

LG, Hobby-SEO

Beitrag von **Pompom** » 01.11.2005, 22:03

könnte es das ? genauso als Platzhalter sehen, was dann einem 'Disallow: /' gleichkäme.

Könnte er, macht er aber nicht, weil die Google-Indianer das so festgelegt haben.

Um es "klassisch" zu machen, müsste die robots natürlich folgendermaßen aussehen:

User-agent: Googlebot
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config
Disallow: /impressum
Disallow: /agb
Disallow: /profile
Disallow: /groupcp
Disallow: /memberlist
Disallow: /modcp
Disallow: /posting
Disallow: /privmsg
Disallow: /viewonline
Disallow: /faq
Disallow: /login
Disallow: /search
Disallow: /common
Disallow: /search
Disallow: /fpost
Disallow: /ptopic
Disallow: /ntopic
Disallow: /post-

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config
Disallow: /impressum
Disallow: /agb
Disallow: /profile
Disallow: /groupcp
Disallow: /memberlist
Disallow: /modcp
Disallow: /posting
Disallow: /privmsg
Disallow: /viewonline
Disallow: /faq
Disallow: /login
Disallow: /search
Disallow: /common
Disallow: /search
Disallow: /fpost
Disallow: /ptopic
Disallow: /ntopic
Disallow: /post-

Das Ergebnis ist jedoch das gleiche. Die andern Bots verstehen immer noch nicht
Disallow: /*? und indizieren es genauso, wie vorher und der Googlebot trollt sich zufrieden von dannen.

Beitrag von **turgay** » 01.11.2005, 22:36

Ich danke Euch allen für die konstruktiven Beiträge.
So wie ich das begriffen habe, ist ein richtig großer Fehler nicht dabei.
Verbesserungsvorschläge werde ich einarbeiten
und die korrigierte robots.txt dann noch einmal posten.

Viele Grüße