Robots.txt für phpbb-Forum

Beitrag von **meinkind** » 01.09.2006, 13:39

Also mein phpbb-Forum hat einen Mod-Rewrite, damit nur statische Pages rauskommen. Hat in den letzten Jahren toll funktioniert, hab nur gemerkt, dass die robots.txt angepasst werden muss, damit keine Strafe kommt wegen Duplicate Content.

Jetzt hab ich diese zwei Linien hinzugefügt:

Code: Alles auswählen

User-agent&#58; * 
Disallow&#58; /viewtopic.php
Disallow&#58; /viewforum.php

Ist das korrekt so? Die ganzen Seiten wie ftopic2343.html oder forum12.html werden ja damit nicht ausgeschlossen oder? Weil ich will nur, dass Seiten wie viewtopic.php?t=3455 oder viewforum.php?f=21 ausgeschlossen werden.

von **Anzeige von ABAKUS** »

Beitrag von **Malte Landwehr** » 01.09.2006, 15:38

Soweit, so gut aber es fehlen noch /index.php /memberlist.php etc ect

edit:
Schau einfach mal welche php-Dateien in https://www.abakus-internet-marketing.de/robots.txt gesperrt wurden.

Beitrag von **Hasenhuf** » 01.09.2006, 15:58

@ meinkind, selbergemacht? Wenn nicht, wie die robots txt aussehen soll steht bei den Mods bzw. Schnipseln doch dabei. z.B.: https://www.phpbb.de/viewtopic.php?t=44090 (die weiterführenden Informationen zum Thema beachten)

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **meinkind** » 02.09.2006, 06:43

Vielen Dank Leute! Ja, also ich hab die robots.txt 1:1 übernommen aus dem Short URL Thread, nur kommen dort viewtopic.php, viewforum.php und index.php nicht vor. Auch bei der robots.txt von Abakus nicht - und das hat mich gewundert, warum eigentlich nicht.

?

Beitrag von **Hasenhuf** » 03.09.2006, 15:49

Hasenhuf hat geschrieben:(die weiterführenden Informationen zum Thema beachten)

https://www.phpbb.de/viewtopic.php?t=82551
Und nicht nur den ersten Beitrag lesen.

meinkind hat geschrieben:... nur kommen dort viewtopic.php, viewforum.php und index.php nicht vor.

Da es keinen Link mehr auf die Dateien gibt ist es nicht nötig (außer es sind schon welche im Index).

Auch sollten mit Disallow: /*? dynamisch erstellte Seiten ausgeschlossen sein (falls google sich an google hält).