Seite 1 von 1

Robots.txt für phpbb-Forum

Verfasst: 01.09.2006, 13:39
von meinkind
Also mein phpbb-Forum hat einen Mod-Rewrite, damit nur statische Pages rauskommen. Hat in den letzten Jahren toll funktioniert, hab nur gemerkt, dass die robots.txt angepasst werden muss, damit keine Strafe kommt wegen Duplicate Content.

Jetzt hab ich diese zwei Linien hinzugefügt:

Code: Alles auswählen

User-agent: * 
Disallow: /viewtopic.php
Disallow: /viewforum.php
Ist das korrekt so? Die ganzen Seiten wie ftopic2343.html oder forum12.html werden ja damit nicht ausgeschlossen oder? Weil ich will nur, dass Seiten wie viewtopic.php?t=3455 oder viewforum.php?f=21 ausgeschlossen werden.

Verfasst:
von

Verfasst: 01.09.2006, 15:38
von Malte Landwehr
Soweit, so gut aber es fehlen noch /index.php /memberlist.php etc ect

edit:
Schau einfach mal welche php-Dateien in https://www.abakus-internet-marketing.de/robots.txt gesperrt wurden.

Verfasst: 01.09.2006, 15:58
von Hasenhuf
@ meinkind, selbergemacht? Wenn nicht, wie die robots txt aussehen soll steht bei den Mods bzw. Schnipseln doch dabei. z.B.: https://www.phpbb.de/viewtopic.php?t=44090 (die weiterführenden Informationen zum Thema beachten)

Verfasst:
von

Verfasst: 02.09.2006, 06:43
von meinkind
Vielen Dank Leute! Ja, also ich hab die robots.txt 1:1 übernommen aus dem Short URL Thread, nur kommen dort viewtopic.php, viewforum.php und index.php nicht vor. Auch bei der robots.txt von Abakus nicht - und das hat mich gewundert, warum eigentlich nicht.

?

Verfasst: 03.09.2006, 15:49
von Hasenhuf
Hasenhuf hat geschrieben:(die weiterführenden Informationen zum Thema beachten)
https://www.phpbb.de/viewtopic.php?t=82551
Und nicht nur den ersten Beitrag lesen.
meinkind hat geschrieben:... nur kommen dort viewtopic.php, viewforum.php und index.php nicht vor.
Da es keinen Link mehr auf die Dateien gibt ist es nicht nötig (außer es sind schon welche im Index).

Auch sollten mit Disallow: /*? dynamisch erstellte Seiten ausgeschlossen sein (falls google sich an google hält).