Wordpress - was sperrt Ihr aus

[Badman]

Hallo, lässt ihr den Googlebot die RSS Dateien eigentlich indizieren-> ich werde da wohl kein DC Problem haben wenn die Dateien indiziern?

danke

[ole1210]

Klar hast du ein DC Problem. Und selbst wenn nicht, dann ranken die Feeds in der regel besser, als der richtige Blog.

RSS gehört unbedingt gesperrt.

[Badman]

danke für die Infos. ist tatsächlich so (fuck).

also am besten sperren lassen und per Webmasters die schon indexierten löschen lasssen oder?

wieso werden die RSS eigentlich besser geränkt - nur so aus neugier

[ole1210]

Gute Frage.

Denke es liegt an der sauberen struktur, kein Layout, nur Text.

[Badman]

und letzte frage.

also wie sperre ich die RSS am besten? no follow auf den Link ist klar. wenn jetzt aber jemand von extern die seite anlinkt dann habe ich den selben salat.
Meine Domain sieht so aus
www.domain.com/?feed=rss2&p=24

...wie blockiere ich nun die ganzen Rss feeds.

danke für eure Hilfe

[MW]

<meta name="robots" content="noindex,follow"/>

[Schnipsel]

In Robots Text:

User-agent: *
Disallow:/wp-admin/
Disallow:/cgi-bin/
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /wp-trackback.php
Disallow:/wp-themes/
Disallow:/wp-plugins/
Disallow: /wp-
Disallow: /search
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$


User-agent: thesubot
Disallow: /

sollte doch funktionieren... so als DC Vermeidung

[Pheidippides]

Wenn du in header.php die Anweisung
<?php
if(is_404() || is_feed() || is_admin() || is_search() ){
echo '<meta name="robots" content="noindex,follow" />';}
?>
einträgst, sperrst du den 404iger, Feed, Admin-Seiten und Suchergebnisse aus.
Wenn du willst, kannst du auch noch andere Seiten (z.B. archiv) ausschließen.

[MW]

Schnipsel:

was ist das: User-agent: thesubot ?

Ein böser Bot?

[fw]

www.hacker-spider.de/

[MW]

Aber warum sollte der Bot gesperrt werden?

[fw]

www.crawltrack.fr/forumuk/viewtopic.php?pid=224

[MW]

So richtig informativ ist das auch nicht.

[fw]

Wenn bei "Big Content Thievery" deine Alarmglocken schweigen, dann ist dir nicht mehr zu helfen.
Kauf dir doch mal so ein gelbes Büchlein von Langenscheidt.

[Pheidippides]

ist jetzt wohl eher OT, oder?