Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Wordpress Robots.txt - So richtig?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten
SantaCruze
PostRank 4
PostRank 4
Beiträge: 112
Registriert: 27.07.2007, 16:57

Beitrag von SantaCruze » 27.05.2013, 19:41

Hallo zusammen,


Ich habe mir bezüglich der Double Content Geschichte eine Robots.txt Datei zusammen gebaut, wie aus zahlreichen Beiträgen stammen. Nun wollte ich einmal hören, ob jemand noch Verbesserungsvorschläge oder Kritik hat, was man lieber doch nicht aussperren sollte. Anbei die aktuelle Robots.txt Datei:


Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-content/languages/
Disallow: /wp-content/themes/
Disallow: /wp-content/upgrade/
Disallow: /wp-content/plugins/
Disallow: /wp-includes/
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: /comments/feed/
Disallow: /feed/
Disallow: /feed/atom/
Disallow: /feed/rss/
Disallow: /rss/
Disallow: /trackback/
Disallow: /wp/
Disallow: /*/comments/feed/$
Disallow: /*/feed/$
Disallow: /*/feed/atom/$
Disallow: /*/feed/rss/$
Disallow: /*/rss/$
Disallow: /*/trackback/$
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /comment-page-
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads/
Disallow: /feed/
Disallow: /feed

Vielleicht hat ja jemand ein paar Verbesserungsvorschläge übrig.

wobbi
PostRank 2
PostRank 2
Beiträge: 52
Registriert: 29.11.2012, 11:18

Beitrag von wobbi » 28.05.2013, 08:36

Diese Seiten sollten allerdings auch in der Sitemap.xml nicht auftauchen.

computerdirk
PostRank 5
PostRank 5
Beiträge: 266
Registriert: 22.05.2003, 13:38
Wohnort: Goslar

Beitrag von computerdirk » 29.05.2013, 06:32

Hallöchen,

du hast da auch einige Einträge doppelt und andere die man zusammenfassen kann. Schau dir mal folgende Seite an, dort findest du auch ein Beispiel, wie die robots.txt für Wordpress aussehen kann.

https://codex.wordpress.org/Search_Engi ... _WordPress

Ich hab die so im Einsatz und fahre damit sehr gut...

:wink:
Mit freundlichen Grüßen
Dirk Löbe

Dirks-Computerecke - Computerhilfe, News und Testberichte

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag