trotz robots.txt im index! doppelter content!

Beitrag von **bydlo** » 14.07.2005, 21:41

guten abend allerseits,habe trotz untenstehender robots .txt (auszug)viele dieser dateien(phpBB) im googleindex
https://www.google.de/search?q=site:axe ... rt=20&sa=N

wie kommt denn das und wie behebe ich dieses problem?
sehe da ein problem namens "duplicate content" auf mich zukommen
vielen dank schonmal..
gruss axel

Disallow: /foto-forum/config.php
Disallow: /foto-forum/profile
Disallow: /foto-forum/groupcp.php
Disallow: /foto-forum/memberlist.php
Disallow: /foto-forum/modcp.php
Disallow: /foto-forum/posting.php
Disallow: /foto-forum/privmsg.php
Disallow: /foto-forum/viewonline.php
Disallow: /foto-forum/faq.php
Disallow: /foto-forum/ptopic*.html$
Disallow: /foto-forum/ntopic*.html$
Disallow: /foto-forum/ftopic*asc*.html$

von **Anzeige von ABAKUS** »

Beitrag von **Chris2005** » 14.07.2005, 22:06

Das ist kein DC Problem. Google findet die URL, vermerkt sie bei sich als "gesperrt" und pumpt sie als URL-only in den Index. Passiert haufenweise bei SEO gemoddeten Foren. Bei mir taucht meine Bot-Trap auch im Index auf, obwohl Google sie nachweislich nicht gespidert hat.

Diese URL-only Skelette bekommst Du mit Hilfe der URL Console für 6 Monate aus dem Index. Danach muss man die Aktion wiederholen.

Beitrag von **Gurgelboot** » 14.07.2005, 22:24

Ich habe bei mir festgestellt, dass sowas:

Disallow: /foto-forum/posting.php

nicht verhindert, dass z.B. .../posting.php?=blabla.. gespidert wird (von Google), daher meine robots.txt für mein mod_rewrite Forum so:

User-agent: Googlebot
Disallow: /forum/post-*.html$
Disallow: /forum/updates-topic.html*$
Disallow: /forum/stop-updates-topic.html*$
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/index.php*$
Disallow: /forum/viewtopic.php*$
Disallow: /forum/viewforum.php*$
Disallow: /forum/profile.php*$
Disallow: /forum/posting.php*$
Disallow: /forum/login.php*$
Disallow: /forum/privmsg.php*$
Disallow: /forum/faq.php
Disallow: /forum/search.php*$
Disallow: /forum/mark-forum*.html$
Disallow: /forum/therapeutisches_reiten.html?c=*$

User-agent: *
Disallow: /forum/viewtopic.php
Disallow: /forum/index.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/profile.php
Disallow: /forum/faq.php
Disallow: /forum/viewforum.php
Disallow: /forum/search.php
Disallow: /forum/login.php

Grüsse

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **Chris2005** » 14.07.2005, 22:28

Lasst doch einfach die html Endungen weg. Die Anweisungen in der robots.txt sind ja Platzhalter:

Code: Alles auswählen

Disallow&#58; /forum/viewtopic

und alles was mit viewtopic anfängt wird nicht mehr gespidert.

Beitrag von **Gurgelboot** » 14.07.2005, 22:33

Hi Chris,

die .php in dem Fall meinst Du...

Das klappt dann? sicher?

Hab kein Bock noch mal Skelette im G*-Cache zu haben, die altern "eitern" gerade raus

Grüsse

Beitrag von **Chris2005** » 14.07.2005, 22:36

@Gurgelboot: ähh ja. Dateiendung ...

Das funktioniert bei mir einwandfrei... Es kommen halt immer wieder "neue" dazu (bei neuen Threads), aber gespidert wird da definitiv nix. In den Logfiles taucht immer nur brav das ftopicXX.html und forumXX.html auf.

Auch schon mit der URL Console "getestet"

Gruss
Chris

Beitrag von **Chris2005** » 14.07.2005, 22:41

Nachtrag: Wichtig ist, falls man eine separate Rubrik für den Googlebot hat , alle Einträge doppelt vorzunehmen. Also so wie es Gurgelboot gepostet hat. Denn der Googlebot ignoriert den Rest der Robots.txt falls er eine Rubrik für sich findet. Leider ist da der Thread auf phpBB zur Robots.txt nicht ganz richtig.

Bewusst nicht als /edit geschrieben

Edit: typo

Beitrag von **Gurgelboot** » 14.07.2005, 22:45

Werds mal testen THX

Grüsse

Beitrag von **bydlo** » 14.07.2005, 23:14

ahoi gurgelboot & chris 2005
vielen dank für die tips.
werd also einfach mal die endungen weglassen & die einträge doppelt vornehmen.

was ich allerdings noch nicht so ganz verstanden habe ist ob diese URL-only Skelette ein problem verursachen(sind) oder ob sie einem nicht auch einfach egal sein können.

hatte heute morgen entdeckt das ich 20 % weniger seiten im index hatte und dachte eben an DC(der anfang vom ende??) wegen des forums.
hat sich inzwischen aber wieder erledigt.
gruss axel

Beitrag von **Chris2005** » 14.07.2005, 23:31

bydlo hat geschrieben:was ich allerdings noch nicht so ganz verstanden habe ist ob diese URL-only Skelette ein problem verursachen(sind) oder ob sie einem nicht auch einfach egal sein können.

Wenn es reine "robots.txt-Skelette" sind, dann können sie einem egal sein. (Google kennt ja keinen Inhalt dazu und wie soll dann DC festgestellt werden)

Bei Dir kann es aber auch teilweise DC sein. Insofern war mein erstes Posting nicht ganz korrekt. Ich hatte übersehen, dass Du noch die Dateiendungen dran hast und somit das von Gurgelboot gepostete zutrifft. Dafür das das richtig ist, spricht die Tatsache, dass mit Datum vom 12.7 (*Klack*) noch viewtopics in den SERPs auftauchen.

Aber wenn Du die Änderungen durchführst, dann wirst Du keine Probleme bekommen. Evtl. mit der URL Console nachhelfen. (aber aufpassen, dass Du da nicht zuviel reinschreibt. Der Kram wird wirklich für 180 Tage aus dem Index genommen).

Meine robots.txt sieht so aus (ich weiss, ich könnte da noch ein paar Sachen zusammenfassen, aber dazu bin ich zu faul.)

Code: Alles auswählen

User-agent&#58; Googlebot-Image
Disallow&#58; /

User-agent&#58; Googlebot
Disallow&#58; /*?
Disallow&#58; /sitemap.xml
Disallow&#58; /counter/
Disallow&#58; /cgi-bin/ 
Disallow&#58; /stats/
Disallow&#58; /intern/
Disallow&#58; /forum/sitemap.php
Disallow&#58; /forum/ftopic22.html
Disallow&#58; /forum/ftopic24.html
Disallow&#58; /forum/ftopic25.html
Disallow&#58; /forum/ftopic26.html
Disallow&#58; /forum/ftopic29.html
Disallow&#58; /forum/ftopic32.html
Disallow&#58; /forum/ftopic33.html
Disallow&#58; /forum/ftopic36.html
Disallow&#58; /forum/ftopic40.html
Disallow&#58; /forum/forum4.html
Disallow&#58; /forum/intern/
Disallow&#58; /forum/info.html
Disallow&#58; /forum/counter/
Disallow&#58; /forum/admin/
Disallow&#58; /forum/album_mod/
Disallow&#58; /forum/cache/
Disallow&#58; /forum/db/
Disallow&#58; /forum/docs/
Disallow&#58; /forum/images/
Disallow&#58; /forum/includes/
Disallow&#58; /forum/language/
Disallow&#58; /forum/mods/
Disallow&#58; /forum/templates/
Disallow&#58; /forum/xs_mod/
Disallow&#58; /forum/album
Disallow&#58; /forum/common
Disallow&#58; /forum/extension
Disallow&#58; /forum/faq
Disallow&#58; /forum/groupcp
Disallow&#58; /forum/login
Disallow&#58; /forum/map
Disallow&#58; /forum/memberlist
Disallow&#58; /forum/modcp
Disallow&#58; /forum/posting
Disallow&#58; /forum/profile
Disallow&#58; /forum/privmsg
Disallow&#58; /forum/rating
Disallow&#58; /forum/report
Disallow&#58; /forum/search
Disallow&#58; /forum/fpost
Disallow&#58; /forum/ptopic
Disallow&#58; /forum/ntopic
Disallow&#58; /forum/post-
Disallow&#58; /forum/groups.html
Disallow&#58; /forum/memberlist.html
Disallow&#58; /forum/profile-editprofile.html
Disallow&#58; /forum/profile-register.html
Disallow&#58; /forum/privmsg-inbox.html
Disallow&#58; /forum/forum1-mark.html
Disallow&#58; /forum/forum2-mark.html
Disallow&#58; /forum/forum3-mark.html
Disallow&#58; /forum/forum4-mark.html
Disallow&#58; /forum/forum5-mark.html
Disallow&#58; /forum/forum6-mark.html
Disallow&#58; /forum/forum7-mark.html
Disallow&#58; /forum/forum8-mark.html
Disallow&#58; /forum/forum9-mark.html
Disallow&#58; /forum/forum10-mark.html
Disallow&#58; /forum/forum11-mark.html
Disallow&#58; /forum/forum12-mark.html
Disallow&#58; /forum/forum13-mark.html
Disallow&#58; /forum/forum14-mark.html
Disallow&#58; /forum/forum15-mark.html
Disallow&#58; /forum/forum16-mark.html
Disallow&#58; /forum/forum17-mark.html
Disallow&#58; /forum/forum18-mark.html
Disallow&#58; /forum/forum19-mark.html
Disallow&#58; /forum/forum20-mark.html
Disallow&#58; /forum/forum7.html
Disallow&#58; /forum/forum8.html
Disallow&#58; /forum/index-mark.html
Disallow&#58; /forum/online.html
Disallow&#58; /forum/category
Disallow&#58; /forum/viewonline

User-agent&#58; *
Disallow&#58; /counter/
Disallow&#58; /cgi-bin/ 
Disallow&#58; /stats/
Disallow&#58; /intern/
Disallow&#58; /forum/intern/
Disallow&#58; /forum/sitemap.php
Disallow&#58; /forum/ftopic22.html
Disallow&#58; /forum/ftopic24.html
Disallow&#58; /forum/ftopic25.html
Disallow&#58; /forum/ftopic26.html
Disallow&#58; /forum/ftopic29.html
Disallow&#58; /forum/ftopic32.html
Disallow&#58; /forum/ftopic33.html
Disallow&#58; /forum/ftopic36.html
Disallow&#58; /forum/ftopic40.html
Disallow&#58; /forum/forum4.html
Disallow&#58; /forum/info.html
Disallow&#58; /forum/counter/
Disallow&#58; /forum/admin/
Disallow&#58; /forum/album_mod/
Disallow&#58; /forum/cache/
Disallow&#58; /forum/db/
Disallow&#58; /forum/docs/
Disallow&#58; /forum/images/
Disallow&#58; /forum/includes/
Disallow&#58; /forum/language/
Disallow&#58; /forum/mods/
Disallow&#58; /forum/templates/
Disallow&#58; /forum/xs_mod/
Disallow&#58; /forum/album
Disallow&#58; /forum/common
Disallow&#58; /forum/extension
Disallow&#58; /forum/faq
Disallow&#58; /forum/groupcp
Disallow&#58; /forum/login
Disallow&#58; /forum/map
Disallow&#58; /forum/memberlist
Disallow&#58; /forum/modcp
Disallow&#58; /forum/posting
Disallow&#58; /forum/privmsg
Disallow&#58; /forum/profile
Disallow&#58; /forum/rating
Disallow&#58; /forum/report
Disallow&#58; /forum/search
Disallow&#58; /forum/fpost
Disallow&#58; /forum/ptopic
Disallow&#58; /forum/ntopic
Disallow&#58; /forum/post-
Disallow&#58; /forum/groups.html
Disallow&#58; /forum/memberlist.html
Disallow&#58; /forum/profile-editprofile.html
Disallow&#58; /forum/profile-register.html
Disallow&#58; /forum/privmsg-inbox.html
Disallow&#58; /forum/forum1-mark.html
Disallow&#58; /forum/forum2-mark.html
Disallow&#58; /forum/forum3-mark.html
Disallow&#58; /forum/forum4-mark.html
Disallow&#58; /forum/forum5-mark.html
Disallow&#58; /forum/forum6-mark.html
Disallow&#58; /forum/forum7-mark.html
Disallow&#58; /forum/forum8-mark.html
Disallow&#58; /forum/forum9-mark.html
Disallow&#58; /forum/forum10-mark.html
Disallow&#58; /forum/forum11-mark.html
Disallow&#58; /forum/forum12-mark.html
Disallow&#58; /forum/forum13-mark.html
Disallow&#58; /forum/forum14-mark.html
Disallow&#58; /forum/forum15-mark.html
Disallow&#58; /forum/forum16-mark.html
Disallow&#58; /forum/forum17-mark.html
Disallow&#58; /forum/forum18-mark.html
Disallow&#58; /forum/forum19-mark.html
Disallow&#58; /forum/forum20-mark.html
Disallow&#58; /forum/forum7.html
Disallow&#58; /forum/forum8.html
Disallow&#58; /forum/index-mark.html
Disallow&#58; /forum/online.html
Disallow&#58; /forum/category
Disallow&#58; /forum/viewonline

User-agent&#58; thumbshots-de-bot
Disallow&#58; /

User-agent&#58; MSIECrawler
Disallow&#58; /