Robots sollen nur thread*.html spidern

Chris2005 hat geschrieben:

Code: Alles auswählen

Robots.txt

User-agent: Googlebot
Disallow: /*?
Disallow: lastpost
Disallow: newpost
Disallow: ...

User-agent: *
Disallow: lastpost
Disallow: newpost
Disallow: ...

Es ist ne ganze Menge, die da ausgeklammert werden muss. Neuer Post, Forum als gelesen markieren, Boarduser, FAQ, online-user, Kalender, Suchfunktion etc.

Chris2005 hat geschrieben:Hi Majora,

Prima. Allerdings vier Anmerkungen:

- Deine Domain ist unter www.schachfeld.de und schachfeld.de erreichbar. Du solltest eine Standarddomain definieren, so dass eine Adresse auf die andere umgeleitet wird. Hier gibt es den passenden Thread dazu.

- Du hast in Deiner Robots.txt eine Rubrik "evil bots". Ein Teil der dort gelisteten Bots respektiert die robots.txt (z.B. Googlebot Image, Ask Jeeves etc.) Ein Grossteil allerdings ignoriert diese. Da hilft nur Ausperren per .htaccess. Infos gibt es in diesem Thread

- Du solltest zur Sicherheit noch ein / (d.h. /lastpost) vor die Dateinamen setzen. Bin mir nicht sicher, ob es notwendig ist, aber so ist es syntakisch korrekter. War eine Unsauberkeit von mir.

- Du solltest Deine robots.txt etwas "sortieren". Könnte mir vorstellen, dass der eine oder andere Bot durcheinanderkommt. bzw. Google ingoriert (sobald er eine Rubrik für sich gefunden hat) alle anderen Direktiven. Des weiteren solltest Du beim Googlebot noch Disallow: /*? hinzufügen, damit Google den dynamischen URls nicht mehr folgt. Du hast noch jede Menge DC (siehe hierin den SERPs, und mit diesem Tag verschwindet der langfristig. Allerdings unterstützt nur Google den Parameter /*? .

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*?
Disallow: /lastpost
Disallow: /newpost
Disallow: /showthread
Disallow: /forumdisplay
Disallow: /images/
Disallow: /report.php
Disallow: /printthread.php
Disallow: /usercp.php
Disallow: /register.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /misc.php
Disallow: /member.php
Disallow: /search.php
Disallow: /showgroups.php
Disallow: /impressum.html

User-agent: *
Disallow: /lastpost
Disallow: /newpost
Disallow: /showthread
Disallow: /forumdisplay
Disallow: /images/
Disallow: /report.php
Disallow: /printthread.php
Disallow: /usercp.php
Disallow: /register.php
Disallow: /memberlist.php
Disallow: /calendar.php
Disallow: /misc.php
Disallow: /member.php
Disallow: /search.php
Disallow: /showgroups.php
Disallow: /impressum.html

Hier folgt dann der Rest

Majora hat geschrieben:OK, ich habe jetzt alles gemacht, was du gepostet hast. Leider spidert google noch immer lastpostinthread und newpostinthread ohne auf die robots.txt zu achten. Was mache ich falsch? Muss ich doch den Schrägstrich vor den verschiedenen URLS weglassen?

 Auszug aus Robots.txt

User-agent: Googlebot
Disallow: /*?
Disallow: /fpost
Disallow: /ptopic
Disallow: /ntopic
etc...

Melegrian hat geschrieben:Hallo,

komme mit den Schreibweisen für eine Robots.txt nicht so recht klar, möchte deshalb nicht extra einen neuen Thread anfangen, so stelle ich meine Fragen mal hier und bei mir würde es etwa so wie nachfolgend aussehen. Die Threads sind nicht schlecht gelistet, doch zuviel Double Content.

Erstes Beispiel, diese Seiten sind völlig identisch, bis auf die id=1 bis ... (z.Z. 14) und genauso oft auch im Index von Google zu finden. Sollten somit raus.

/forum/index.php?faction=formmail&target_id=14

Diese könnten jedoch von mir aus im Index bleiben.

/forum/index.php?faction=profile&profile_id=8

Diese sollten raus,

/forum/index.php?mode=viewthread&forum_id=6&thread=1&z=last

und diese müssen bleiben.

/forum/index.php?mode=viewthread&forum_id=6&thread=1

Wie könnte dies nun in einer Robots.txt aussehen?


Dann hätte ich noch eine andere Frage. Bei vielen Weblogs wie blogg.de kommen auch auf jeden Artikel 4 bis 7 Müllseiten mit Double Content, teilweise schon durch die Archive bedingt. Dennoch hat es scheinbar keine negativen Auswirkungen und nach einiger Zeit verringert sich die Zahl der indexierten Seiten in Google wieder von allein. Beim Forum ist das Verhältnis Müllseiten mit Double Content zu Threads eher noch höher, negative Auswirkungen kann ich jedoch bislang keine feststellen. Kann denn hier jemand wirklich sicher behaupten, dass sich die Positionen der Threads in den Serps in Abhängigkeit durch Reduzierung bzw. auch umgekehrt durch Zunahme von Double Content, sich wesentlich änderte?

Oder ist es nicht ganz einfach so, das Google da von allein aufräumt, die eigentlichen Threads stehen lässt und nur den Double Content aus dem Index verbannt, ohne dabei den Rest der Domain gleich abwertend einzustufen? Schließlich gibt es doch jede Menge an Foren oder Weblogs, deren Inhaber noch nie den Begriff SEO hörten und deshalb auch nicht abgewertet wurden oder werden.


MfG Melegrian