ABAKUS

--

Stimmt, aber die kleinen Robots bringen nicht mal den doppelten Content in Google rein.

--

Hallo turgay,

auf den ersten Blick scheint mir Deine robots.txt (fast) in Ordnung zu sein. Nur eine kleine Anregung: Wenn Du die Zeile Disallow: /*? benutzt, solltest Du als User-agent: Googlebot angeben.

Für alle anderen Bots - also User-agent: * - wiederholst Du alle Regeln einfach noch einmal, mit Ausnahme der Zeile Disallow: /*?

Ich persönlich würde auch noch Disallow: /index hinzufügen, es sei denn, Deine Forums-Startseite würde index.html oder ähnlich heißen - dann natürlich nicht. Die Index.php sollte aber in der robots.txt ausgeschlossen werden, da Du ja ein Rewriting einsetzt.

Die Zeilen

Disallow: /ptopic
Disallow: /ntopic

dienen zur Vermeidung von doppeltem Content und sind sehr wichtig. Ohne diese Zeilen kann es Dir passieren, dass ein und dieselbe Seite sowohl unter z.B. ftopic33.html als auch ptopic15.html im Google-Index landet, was nicht so toll ist.

Last not least: Deine robots.txt funktioniert natürlich nur, wenn das Forum im Root-Verzeichnis, also im public_html-Ordner, liegt. Anderenfalls müsstest Du die Pfade anpassen. Zum Beispiel: Disallow: /forum/admin/ usw.

LG, Hobby-SEO

könnte es das ? genauso als Platzhalter sehen, was dann einem 'Disallow: /' gleichkäme.

Könnte er, macht er aber nicht, weil die Google-Indianer das so festgelegt haben.

Um es "klassisch" zu machen, müsste die robots natürlich folgendermaßen aussehen:

User-agent: Googlebot
Disallow: /*?
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config
Disallow: /impressum
Disallow: /agb
Disallow: /profile
Disallow: /groupcp
Disallow: /memberlist
Disallow: /modcp
Disallow: /posting
Disallow: /privmsg
Disallow: /viewonline
Disallow: /faq
Disallow: /login
Disallow: /search
Disallow: /common
Disallow: /search
Disallow: /fpost
Disallow: /ptopic
Disallow: /ntopic
Disallow: /post-

User-agent: *
Disallow: /admin/
Disallow: /db/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /templates/
Disallow: /config
Disallow: /impressum
Disallow: /agb
Disallow: /profile
Disallow: /groupcp
Disallow: /memberlist
Disallow: /modcp
Disallow: /posting
Disallow: /privmsg
Disallow: /viewonline
Disallow: /faq
Disallow: /login
Disallow: /search
Disallow: /common
Disallow: /search
Disallow: /fpost
Disallow: /ptopic
Disallow: /ntopic
Disallow: /post-

Das Ergebnis ist jedoch das gleiche. Die andern Bots verstehen immer noch nicht
Disallow: /*? und indizieren es genauso, wie vorher und der Googlebot trollt sich zufrieden von dannen.

Ich danke Euch allen für die konstruktiven Beiträge.
So wie ich das begriffen habe, ist ein richtig großer Fehler nicht dabei.
Verbesserungsvorschläge werde ich einarbeiten
und die korrigierte robots.txt dann noch einmal posten.


Viele Grüße