Seiten mit bestimmter Linkstruktur nicht spidern lassen

Beitrag von **oliboli** » 24.12.2012, 06:02

Ich habe seit meinem Update von PhpBB2 auf PhpBB3 das Problem, dass sich meine Links leicht verändert haben. Da es das gleiche SEO-Mod nicht mehr gab. Gleichzeitig konnte das Forum aber so einrichten, dass die alten Link noch aufrufbar sind, intern sind sie aber nicht mehr verlinkt.

Der Vorteil dieser Art: Ich habe Links von anderen Seiten, die so immer noch funktionieren.

Der Nachteil: Ich habe nun bei Google Double Content - und das ist nicht so gut.

Ich habe mit gedacht, dass ich nun in der robots.txt die alten URLS sperren könnte. Das ist nicht so ganz ideal, aber immer noch das kleine Übel.

Daher meine Frage:

Ich möchte das sämtliche Seiten im Muster www.seite.de/ftopic1.html www.seite.de/ftopic2.html nicht mehr indexiert werden. Die richtigen URLS also www.seite.de/topic1 usw sollten aber nicht betroffen sein.

Weiss da jemand, wie ich das definieren kann?

Das gleiche gilt auch für ntopic und ptopic, bei denen ich auch nicht so recht verstehe, wo die herkommen...

von **Anzeige von ABAKUS** »

Beitrag von **bbnetch** » 24.12.2012, 07:12

im grunde koentest du das ganz einfach in der htacces korigieren.
poste dazu mal was dein neuer seo mod macht, bezw, deine htaccess.

weil er schreibt (so wie du das jetzt erklarst) einfach die topics, und evt par andere sachen in andere namen um, die man aber ganz einfach wieder anpassen kann, das sie so wie vorher sind.

Beitrag von **Christian Kunz** » 24.12.2012, 10:38

Gut wäre es, wenn Dein CMS es Dir erlauben würde, für bestimmte URLs individuelle Meta-Tags zu setzen. Die Seiten, die nicht mehr indexiert werden sollen, erhalten dann den Eintrag

Code: Alles auswählen

 <meta name="robots" content="noindex, follow" />

Ist auf alle Fälle besser, als dies per robots.txt zu machen.

Du kannst auch eine 301-Weiterleitung per htaccess vom nicht gewünschten Pfad auf den gewünschten Pfad einrichten.

Gruß,
Christian

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **oliboli** » 24.12.2012, 15:49

Vielen Dank für die Hinweise.

Das PRoblem ist, dass es die neuen URLs schon seit März gibt, weil ich das halt technisch nciht hinbekommen habe und dann eine neuen Stelle fand. Wenn ich nun wieder zurück zu den alten URLS gehe, dann leiden meine Resultate ja wieder ein halbes Jahr.

Es handelt sich beim CMS und ein Forum PhpBB3. Ich glaube nicht, dass mir das erlaubt, für bestimmte URLs individuelle Meta-Tags zu setzen.

htaccess wäre eine gute Idee. Aber davon verstehe ich eben überhaupt nichts.

Hier meine htaccess:

Code: Alles auswählen

    # Lines That should already be in your .htacess
    <Files "config.php">
    Order Allow,Deny
    Deny from All
    </Files>
    <Files "common.php">
    Order Allow,Deny
    Deny from All
    </Files>

    # You may need to un-comment the following lines
    # Options +FollowSymlinks
    # To make sure that rewritten dir or file &#40;/|.html&#41; will not load dir.php in case it exist
    # Options -MultiViews
    # REMEBER YOU ONLY NEED TO STARD MOD REWRITE ONCE
    RewriteEngine On
    # Uncomment the statement below if you want to make use of
    # HTTP authentication and it does not already work.
    # This could be required if you are for example using PHP via Apache CGI.
    # RewriteRule .* - &#91;E=HTTP_AUTHORIZATION&#58;%&#123;HTTP&#58;Authorization&#125;,L&#93;
    # REWRITE BASE
    RewriteBase /
    # HERE IS A GOOD PLACE TO FORCE CANONICAL DOMAIN
    # RewriteCond %&#123;HTTP_HOST&#125; !^www\.traveltalk\.weltreiseforum\.com$ &#91;NC&#93;
    # RewriteRule ^&#40;.*&#41;$ http&#58;//www.traveltalk.weltreiseforum.com/$1 &#91;QSA,L,R=301&#93;

    # DO NOT GO FURTHER IF THE REQUESTED FILE / DIR DOES EXISTS
    RewriteCond %&#123;REQUEST_FILENAME&#125; -f &#91;OR&#93;
    RewriteCond %&#123;REQUEST_FILENAME&#125; -d
    RewriteRule . - &#91;L&#93;
    #####################################################
    # PHPBB SEO REWRITE RULES ALL MODES
    #####################################################
    # AUTHOR &#58; dcz www.phpbb-seo.com
    # STARTED &#58; 01/2006
    #################################
    # FORUMS PAGES
    ###############
    # FORUM INDEX REWRITERULE WOULD STAND HERE IF USED. "forum" REQUIRES TO BE SET AS FORUM INDEX
    # RewriteRule ^forum\.html$ /index.php &#91;QSA,L,NC&#93;
    # FORUM ALL MODES
    RewriteRule ^&#40;forum|&#91;a-z0-9_-&#93;*-f&#41;&#40;&#91;0-9&#93;+&#41;&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /viewforum.php?f=$2&start=$4 &#91;QSA,L,NC&#93;
    # TOPIC WITH VIRTUAL FOLDER ALL MODES
    RewriteRule ^&#40;forum|&#91;a-z0-9_-&#93;*-f&#41;&#40;&#91;0-9&#93;+&#41;/&#40;topic|&#91;a-z0-9_-&#93;*-t&#41;&#40;&#91;0-9&#93;+&#41;&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /viewtopic.php?f=$2&t=$4&start=$6 &#91;QSA,L,NC&#93;
    # TOPIC WITHOUT FORUM ID & DELIM ALL MODES
    RewriteRule ^&#40;&#91;a-z0-9_-&#93;*&#41;/?&#40;topic|&#91;a-z0-9_-&#93;*-t&#41;&#40;&#91;0-9&#93;+&#41;&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /viewtopic.php?forum_uri=$1&t=$3&start=$5 &#91;QSA,L,NC&#93;
    # PHPBB FILES ALL MODES
    RewriteRule ^resources/&#91;a-z0-9_-&#93;+/&#40;thumb/&#41;?&#40;&#91;0-9&#93;+&#41;$ /download/file.php?id=$2&t=$1 &#91;QSA,L,NC&#93;
    # PROFILES ALL MODES WITH ID
    RewriteRule ^&#40;member|&#91;a-z0-9_-&#93;*-u&#41;&#40;&#91;0-9&#93;+&#41;\.html$ /memberlist.php?mode=viewprofile&u=$2 &#91;QSA,L,NC&#93;
    # USER MESSAGES ALL MODES WITH ID
    RewriteRule ^&#40;member|&#91;a-z0-9_-&#93;*-u&#41;&#40;&#91;0-9&#93;+&#41;-&#40;topics|posts&#41;&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /search.php?author_id=$2&sr=$3&start=$5 &#91;QSA,L,NC&#93;
    # GROUPS ALL MODES
    RewriteRule ^&#40;group|&#91;a-z0-9_-&#93;*-g&#41;&#40;&#91;0-9&#93;+&#41;&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /memberlist.php?mode=group&g=$2&start=$4 &#91;QSA,L,NC&#93;
    # POST
    RewriteRule ^post&#40;&#91;0-9&#93;+&#41;\.html$ /viewtopic.php?p=$1 &#91;QSA,L,NC&#93;
    # ACTIVE TOPICS
    RewriteRule ^active-topics&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /search.php?search_id=active_topics&start=$2&sr=topics &#91;QSA,L,NC&#93;
    # UNANSWERED TOPICS
    RewriteRule ^unanswered&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /search.php?search_id=unanswered&start=$2&sr=topics &#91;QSA,L,NC&#93;
    # NEW POSTS
    RewriteRule ^newposts&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /search.php?search_id=newposts&start=$2&sr=topics &#91;QSA,L,NC&#93;
    # UNREAD POSTS
    RewriteRule ^unreadposts&#40;-&#40;&#91;0-9&#93;+&#41;&#41;?\.html$ /search.php?search_id=unreadposts&start=$2 &#91;QSA,L,NC&#93;
    # THE TEAM
    RewriteRule ^the-team\.html$ /memberlist.php?mode=leaders &#91;QSA,L,NC&#93;
    # HERE IS A GOOD PLACE TO ADD OTHER PHPBB RELATED REWRITERULES
    
    # FORUM WITHOUT ID & DELIM ALL MODES
    # THESE FOUR LINES MUST BE LOCATED AT THE END OF YOUR HTACCESS TO WORK PROPERLY
    RewriteCond %&#123;REQUEST_FILENAME&#125; !-f
    RewriteRule ^&#40;&#91;a-z0-9_-&#93;+&#41;&#40;-&#40;&#91;0-9&#93;+&#41;&#41;\.html$ /viewforum.php?forum_uri=$1&start=$3 &#91;QSA,L,NC&#93;
    RewriteCond %&#123;REQUEST_FILENAME&#125; !-f
    RewriteRule ^&#40;&#91;a-z0-9_-&#93;+&#41;\.html$ /viewforum.php?forum_uri=$1 &#91;QSA,L,NC&#93;
    # FIX RELATIVE PATHS &#58; FILES
    RewriteRule ^.+/&#40;style\.php|ucp\.php|mcp\.php|faq\.php|download/file.php&#41;$ /$1 &#91;QSA,L,NC,R=301&#93;
    # FIX RELATIVE PATHS &#58; IMAGES
    RewriteRule ^.+/&#40;styles/.*|images/.*&#41;/$ /$1 &#91;QSA,L,NC,R=301&#93;
    # END PHPBB PAGES
    #####################################################

Redirect 301 /ftopic http&#58;//www.traveltalk.com/topic

Beitrag von **Christian Kunz** » 25.12.2012, 00:06

Im Prinzip kannst Du einzelne Seiten oder auch Pfade per .htaccess umleiten. Hier ein Beispiel:

Code: Alles auswählen

Redirect 301 /pfad_alt http&#58;//www.domain.de/pfad_neu

Recherchiere notfalls ein wenig zur .htaccess - es gibt viele Einführungen dazu, und es ist wirklich nicht schwer.

Gruß,
Christian

Beitrag von **oliboli** » 26.12.2012, 08:53

Recherchiere notfalls ein wenig zur .htaccess - es gibt viele Einführungen dazu, und es ist wirklich nicht schwer.

Ich nehme an, wenn du zu einem Arzt gehst und der dir sagt: "Sie haben Krebs. Aber keine Sorge, im Internet finden Sie allerhand Anleitungen, wie Sie ihn behandeln können!" wärst du auch nicht so ganz befriedigt?

Mein Gott, was muss ich denn noch alles tun, um in dieser Sache endlich einmal Hilfe zu bekommen.

Wenn ich wüsste wie man eine .htaccess schreibt und wenn ich diese "vielen Einführen" verstehen kann, kann hätte ich dieses Thema hier doch überhaupt nicht aufgemacht!

Wenn ich eine bestimmte Seite umleiten will, ist mir das klar. Das kriege ich auch nicht. Aber ich will ja alle Seiten umleiten!

Wenn es "wirklich nicht schwer" ist, wieso kannst du mir dann nicht einfach kurz sagen, wie es geht?

Beitrag von **Melegrian** » 27.12.2012, 18:24

oliboli hat geschrieben:Ich nehme an, wenn du zu einem Arzt gehst und der dir sagt: "Sie haben Krebs. Aber keine Sorge, im Internet finden Sie allerhand Anleitungen, wie Sie ihn behandeln können!" wärst du auch nicht so ganz befriedigt?

Na ja, ein Arzt behandelt auch nur in Notfällen kostenlos und wird ansonsten ohne zahlende Krankenversicherung keinen Finger krumm machen. Und ein Forum ist auch nur Hilfe zur Selbsthilfe und nicht dafür gedacht Programmierern die Arbeit wegzunehmen.

So schwer zu verstehen ist das ja nun wieder auch nicht. Ich blicke zwar nie richtig durch, wenn ich irgendeine längere htaccess sehe, weil ich gar nicht weiß, was die Programmierer sich dabei dachten und wofür was gut sein soll, doch so vom Prinzip ist die Syntax einfacher als eine Fremdsprache zu erlernen. Ungetestet, nur aus dem Stegreif, sollte das Beispiel Seiten mit ...com/ftopic14102.html auf ...com/topic14102.html umleiten.

Also ^Musterbeginn (plus mindestens eine Ziffer zwischen 0 und 9) Musterende$ / leite weiter zu und übernehme dabei den Wert des in Klammern gefassten Teilmusters, welcher in $1 gespeichert wird. L gleich das Ende der Regel, 301 Art der Weiterleitung.

Code: Alles auswählen

RewriteRule ^ftopic&#40;&#91;0-9&#93;+&#41;\.html$ /topic$1.html  &#91;L,R=301&#93;

Dabei fällt mir ein, dass sich das auch nur per htaccess und ohne mod_rewrite erledigen lassen sollte. Doch da mod-rewrite ohnehin aktiviert ist, ist das jetzt nur als Beispiel gedacht:

Code: Alles auswählen

RedirectMatch 301 ^/ftopic&#40;&#91;0-9&#93;+&#41;\.html$ http&#58;//www.example.net/topic$1.html