Seite 1 von 1

Wordpress Robots.txt - So richtig?

Verfasst: 27.05.2013, 19:41
von SantaCruze
Hallo zusammen,


Ich habe mir bezüglich der Double Content Geschichte eine Robots.txt Datei zusammen gebaut, wie aus zahlreichen Beiträgen stammen. Nun wollte ich einmal hören, ob jemand noch Verbesserungsvorschläge oder Kritik hat, was man lieber doch nicht aussperren sollte. Anbei die aktuelle Robots.txt Datei:


Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /comments/feed/
Disallow: /feed/
Disallow: /feed/atom/
Disallow: /feed/rss/
Disallow: /rss/
Disallow: /trackback/
Disallow: /wp/
Disallow: /*/comments/feed/$
Disallow: /*/feed/$
Disallow: /*/feed/atom/$
Disallow: /*/feed/rss/$
Disallow: /*/rss/$
Disallow: /*/trackback/$
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads/
Disallow: /feed/
Disallow: /feed

Vielleicht hat ja jemand ein paar Verbesserungsvorschläge übrig.

Verfasst:
von

Verfasst: 28.05.2013, 08:36
von wobbi
Diese Seiten sollten allerdings auch in der Sitemap.xml nicht auftauchen.

Verfasst: 29.05.2013, 06:32
von computerdirk
Hallöchen,

du hast da auch einige Einträge doppelt und andere die man zusammenfassen kann. Schau dir mal folgende Seite an, dort findest du auch ein Beispiel, wie die robots.txt für Wordpress aussehen kann.

https://codex.wordpress.org/Search_Engi ... _WordPress

Ich hab die so im Einsatz und fahre damit sehr gut...

:wink: