Adsense ist nicht SUCHMASCHINENFREUDLICH !!!

[Chris2005]

Das Problem ist in der Tat bei ihm duplicate content: Ursache ist der Aufbau der robots.txt

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*?

User-agent: *
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/ 
etc.

Der Googlebot ignoriert den Rest einer robots.txt wenn er eine Rubrik für sich selber findet, d.h. für Google sind nur Dateien mit ? gesperrt. Alles andere darf fröhlich gespidert werden (aus Googles Sicht). Und Ruckzuck hast Du über ftopic, ntopic, ptopic und ftpost jede Menge DC. Das hättest Du aber auch leicht erkennen können, wenn Du mal in die Logfiles geguckt hättest. Denn da tauchen diese Dateien explizit auf.

Ich habe das schon öfter geschrieben, da ich es am eigenen Leib "erfahren" musste, bis mir die Ursache klar war. Leider ist der Thread auf phpBB dahingehend nicht korrekt.

Also: Entweder:

Code: Alles auswählen

User-agent: *
Disallow: /*?
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/
etc.

oder

Code: Alles auswählen

User-agent: Googlebot
Disallow: /*?
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/ 
etc.

User-agent: *
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/ 
etc.

[FUXS]

...und wieder habe ich was dazu gelernt. Hast du ne Quelle wo diese Details stehen. Habe bis jetzt nur das normale Geblubbel zur ROBOTS.TXT im web gefunden. Danke

[Chris2005]

Quelle kann ich Dir keine nennen. Nur meine eigenen Erfahrungen. Ich hatte die robots.txt aus dem Short URL Reloaded Thread auf phpBB übernommen. Plötzlich fing Google munter an alle möglichen Sachen zu spidern, obwohl sie ja eigentlich per Disallow rausgenommen waren.

Seit ich diese gesplitte Version einsetze ist Ruhe, nur noch forumXX und ftopicXX im Index (der Rest als nicht gespiderte Karteileichen). Ich habe die Sachen gesplittet, da bisher nur Google den Parameter /*? unterstützt. Dieses /*? dient eigentlich auch nur dazu, dass nix dynamisches mehr in den Index kommt.

[FUXS]

danke, das hört sich schlüssig an. ich habe es eingebaut und werde ich mich zurücklehen und warten was google bei mir spidert und in der suma dann zufieden ist.

[FUXS]

nun gibt es endlich wieder einträge von MEINER HOMEPAGE im google index. alles wendet sich zum guten, aber warum hat google alle einträge gelöscht und baut sie nun ganz langsam wieder auf. seo arbeiten und designänderungen gab es nicht.