meine Robots.txt ist folgendermaßen aufgebaut:
Code: Alles auswählen
User-agent: *
Disallow: /comments/feed/
Disallow: /feed/atom/
Disallow: /2007/
Gruß
zxx
Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Code: Alles auswählen
User-agent: *
Disallow: /comments/feed/
Disallow: /feed/atom/
Disallow: /2007/
Hm, ich weiß leider nicht wie ich das bei Wordpress einstellen kann...Kralle hat geschrieben:Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.
Habe ich!Jeuners hat geschrieben:So nebenbei... schreib die robots.txt Datei am besten mit Notepad und nicht mit einem HTML Editor und schau mal bei den Webmastertools was die zu deiner Robo Datei sagen.
Hmm, schätze mal es gibt sicher ein Plugin dafür. Die robots.txt verhindert bei Google lediglich die Aufnahme der Seite selbst in den Index, nicht aber die Aufnahme der URL. Klingt komisch, ist aber sozxx hat geschrieben:Hm, ich weiß leider nicht wie ich das bei Wordpress einstellen kann...Kralle hat geschrieben:Eine Only-URL-Indizierung kann auch bei einem Disallow in der robots.txt passieren. Deshalb sollte man grundsätzlich ein Meta-noindex verwenden.
Kann man das auch irgendwie über die robots.txt regeln?