ABAKUS

Ihr Partner in Sachen SEO und Online Marketing
https://archiv.abakus-internet-marketing.de/foren/

trotz robots.txt im index! doppelter content!

https://archiv.abakus-internet-marketing.de/foren/viewtopic.php?f=1&t=16068

Seite 1 von 1

trotz robots.txt im index! doppelter content!

Verfasst: 14.07.2005, 21:41
von bydlo
guten abend allerseits,habe trotz untenstehender robots .txt (auszug)viele dieser dateien(phpBB) im googleindex
https://www.google.de/search?q=site:axe ... rt=20&sa=N

wie kommt denn das und wie behebe ich dieses problem?
sehe da ein problem namens "duplicate content" auf mich zukommen
vielen dank schonmal..
gruss axel



Disallow: /foto-forum/config.php
Disallow: /foto-forum/profile
Disallow: /foto-forum/groupcp.php
Disallow: /foto-forum/memberlist.php
Disallow: /foto-forum/modcp.php
Disallow: /foto-forum/posting.php
Disallow: /foto-forum/privmsg.php
Disallow: /foto-forum/viewonline.php
Disallow: /foto-forum/faq.php
Disallow: /foto-forum/ptopic*.html$
Disallow: /foto-forum/ntopic*.html$
Disallow: /foto-forum/ftopic*asc*.html$

Verfasst:
von

trotz robots.txt im index! doppelter content!

Verfasst: 14.07.2005, 22:06
von Chris2005
Das ist kein DC Problem. Google findet die URL, vermerkt sie bei sich als "gesperrt" und pumpt sie als URL-only in den Index. Passiert haufenweise bei SEO gemoddeten Foren. Bei mir taucht meine Bot-Trap auch im Index auf, obwohl Google sie nachweislich nicht gespidert hat.

Diese URL-only Skelette bekommst Du mit Hilfe der URL Console für 6 Monate aus dem Index. Danach muss man die Aktion wiederholen.

Verfasst: 14.07.2005, 22:24
von Gurgelboot
Ich habe bei mir festgestellt, dass sowas:
Disallow: /foto-forum/posting.php
nicht verhindert, dass z.B. .../posting.php?=blabla.. gespidert wird (von Google), daher meine robots.txt für mein mod_rewrite Forum so:
User-agent: Googlebot
Disallow: /forum/post-*.html$
Disallow: /forum/updates-topic.html*$
Disallow: /forum/stop-updates-topic.html*$
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/index.php*$
Disallow: /forum/viewtopic.php*$
Disallow: /forum/viewforum.php*$
Disallow: /forum/profile.php*$
Disallow: /forum/posting.php*$
Disallow: /forum/login.php*$
Disallow: /forum/privmsg.php*$
Disallow: /forum/faq.php
Disallow: /forum/search.php*$
Disallow: /forum/mark-forum*.html$
Disallow: /forum/therapeutisches_reiten.html?c=*$

User-agent: *
Disallow: /forum/viewtopic.php
Disallow: /forum/index.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/profile.php
Disallow: /forum/faq.php
Disallow: /forum/viewforum.php
Disallow: /forum/search.php
Disallow: /forum/login.php
Grüsse :D

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

trotz robots.txt im index! doppelter content!

Verfasst: 14.07.2005, 22:28
von Chris2005
Lasst doch einfach die html Endungen weg. Die Anweisungen in der robots.txt sind ja Platzhalter:

Code: Alles auswählen

Disallow: /forum/viewtopic
und alles was mit viewtopic anfängt wird nicht mehr gespidert.

Verfasst: 14.07.2005, 22:33
von Gurgelboot
Hi Chris,

die .php in dem Fall meinst Du...

Das klappt dann? sicher?

Hab kein Bock noch mal Skelette im G*-Cache zu haben, die altern "eitern" gerade raus :wink:

Grüsse :D

trotz robots.txt im index! doppelter content!

Verfasst: 14.07.2005, 22:36
von Chris2005
@Gurgelboot: ähh ja. Dateiendung ...

Das funktioniert bei mir einwandfrei... Es kommen halt immer wieder "neue" dazu (bei neuen Threads), aber gespidert wird da definitiv nix. In den Logfiles taucht immer nur brav das ftopicXX.html und forumXX.html auf.

Auch schon mit der URL Console "getestet" :)

Gruss
Chris

trotz robots.txt im index! doppelter content!

Verfasst: 14.07.2005, 22:41
von Chris2005
Nachtrag: Wichtig ist, falls man eine separate Rubrik für den Googlebot hat , alle Einträge doppelt vorzunehmen. Also so wie es Gurgelboot gepostet hat. Denn der Googlebot ignoriert den Rest der Robots.txt falls er eine Rubrik für sich findet. Leider ist da der Thread auf phpBB zur Robots.txt nicht ganz richtig.

Bewusst nicht als /edit geschrieben

Edit: typo :o

trotz robots.txt im index! doppelter content!

Verfasst: 14.07.2005, 22:45
von Gurgelboot
Werds mal testen THX

Grüsse :D

Verfasst: 14.07.2005, 23:14
von bydlo
ahoi gurgelboot & chris 2005
vielen dank für die tips.
werd also einfach mal die endungen weglassen & die einträge doppelt vornehmen.

was ich allerdings noch nicht so ganz verstanden habe ist ob diese URL-only Skelette ein problem verursachen(sind) oder ob sie einem nicht auch einfach egal sein können.

hatte heute morgen entdeckt das ich 20 % weniger seiten im index hatte und dachte eben an DC(der anfang vom ende??) wegen des forums.
hat sich inzwischen aber wieder erledigt.
gruss axel

Verfasst: 14.07.2005, 23:31
von Chris2005
bydlo hat geschrieben:was ich allerdings noch nicht so ganz verstanden habe ist ob diese URL-only Skelette ein problem verursachen(sind) oder ob sie einem nicht auch einfach egal sein können.
Wenn es reine "robots.txt-Skelette" sind, dann können sie einem egal sein. (Google kennt ja keinen Inhalt dazu und wie soll dann DC festgestellt werden)

Bei Dir kann es aber auch teilweise DC sein. Insofern war mein erstes Posting nicht ganz korrekt. Ich hatte übersehen, dass Du noch die Dateiendungen dran hast und somit das von Gurgelboot gepostete zutrifft. Dafür das das richtig ist, spricht die Tatsache, dass mit Datum vom 12.7 (*Klack*) noch viewtopics in den SERPs auftauchen.

Aber wenn Du die Änderungen durchführst, dann wirst Du keine Probleme bekommen. Evtl. mit der URL Console nachhelfen. (aber aufpassen, dass Du da nicht zuviel reinschreibt. Der Kram wird wirklich für 180 Tage aus dem Index genommen).

Meine robots.txt sieht so aus (ich weiss, ich könnte da noch ein paar Sachen zusammenfassen, aber dazu bin ich zu faul.)

Code: Alles auswählen

User-agent: Googlebot-Image
Disallow: /

User-agent: Googlebot
Disallow: /*?
Disallow: /sitemap.xml
Disallow: /counter/
Disallow: /cgi-bin/ 
Disallow: /stats/
Disallow: /intern/
Disallow: /forum/sitemap.php
Disallow: /forum/ftopic22.html
Disallow: /forum/ftopic24.html
Disallow: /forum/ftopic25.html
Disallow: /forum/ftopic26.html
Disallow: /forum/ftopic29.html
Disallow: /forum/ftopic32.html
Disallow: /forum/ftopic33.html
Disallow: /forum/ftopic36.html
Disallow: /forum/ftopic40.html
Disallow: /forum/forum4.html
Disallow: /forum/intern/
Disallow: /forum/info.html
Disallow: /forum/counter/
Disallow: /forum/admin/
Disallow: /forum/album_mod/
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/mods/
Disallow: /forum/templates/
Disallow: /forum/xs_mod/
Disallow: /forum/album
Disallow: /forum/common
Disallow: /forum/extension
Disallow: /forum/faq
Disallow: /forum/groupcp
Disallow: /forum/login
Disallow: /forum/map
Disallow: /forum/memberlist
Disallow: /forum/modcp
Disallow: /forum/posting
Disallow: /forum/profile
Disallow: /forum/privmsg
Disallow: /forum/rating
Disallow: /forum/report
Disallow: /forum/search
Disallow: /forum/fpost
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/post-
Disallow: /forum/groups.html
Disallow: /forum/memberlist.html
Disallow: /forum/profile-editprofile.html
Disallow: /forum/profile-register.html
Disallow: /forum/privmsg-inbox.html
Disallow: /forum/forum1-mark.html
Disallow: /forum/forum2-mark.html
Disallow: /forum/forum3-mark.html
Disallow: /forum/forum4-mark.html
Disallow: /forum/forum5-mark.html
Disallow: /forum/forum6-mark.html
Disallow: /forum/forum7-mark.html
Disallow: /forum/forum8-mark.html
Disallow: /forum/forum9-mark.html
Disallow: /forum/forum10-mark.html
Disallow: /forum/forum11-mark.html
Disallow: /forum/forum12-mark.html
Disallow: /forum/forum13-mark.html
Disallow: /forum/forum14-mark.html
Disallow: /forum/forum15-mark.html
Disallow: /forum/forum16-mark.html
Disallow: /forum/forum17-mark.html
Disallow: /forum/forum18-mark.html
Disallow: /forum/forum19-mark.html
Disallow: /forum/forum20-mark.html
Disallow: /forum/forum7.html
Disallow: /forum/forum8.html
Disallow: /forum/index-mark.html
Disallow: /forum/online.html
Disallow: /forum/category
Disallow: /forum/viewonline

User-agent: *
Disallow: /counter/
Disallow: /cgi-bin/ 
Disallow: /stats/
Disallow: /intern/
Disallow: /forum/intern/
Disallow: /forum/sitemap.php
Disallow: /forum/ftopic22.html
Disallow: /forum/ftopic24.html
Disallow: /forum/ftopic25.html
Disallow: /forum/ftopic26.html
Disallow: /forum/ftopic29.html
Disallow: /forum/ftopic32.html
Disallow: /forum/ftopic33.html
Disallow: /forum/ftopic36.html
Disallow: /forum/ftopic40.html
Disallow: /forum/forum4.html
Disallow: /forum/info.html
Disallow: /forum/counter/
Disallow: /forum/admin/
Disallow: /forum/album_mod/
Disallow: /forum/cache/
Disallow: /forum/db/
Disallow: /forum/docs/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/mods/
Disallow: /forum/templates/
Disallow: /forum/xs_mod/
Disallow: /forum/album
Disallow: /forum/common
Disallow: /forum/extension
Disallow: /forum/faq
Disallow: /forum/groupcp
Disallow: /forum/login
Disallow: /forum/map
Disallow: /forum/memberlist
Disallow: /forum/modcp
Disallow: /forum/posting
Disallow: /forum/privmsg
Disallow: /forum/profile
Disallow: /forum/rating
Disallow: /forum/report
Disallow: /forum/search
Disallow: /forum/fpost
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/post-
Disallow: /forum/groups.html
Disallow: /forum/memberlist.html
Disallow: /forum/profile-editprofile.html
Disallow: /forum/profile-register.html
Disallow: /forum/privmsg-inbox.html
Disallow: /forum/forum1-mark.html
Disallow: /forum/forum2-mark.html
Disallow: /forum/forum3-mark.html
Disallow: /forum/forum4-mark.html
Disallow: /forum/forum5-mark.html
Disallow: /forum/forum6-mark.html
Disallow: /forum/forum7-mark.html
Disallow: /forum/forum8-mark.html
Disallow: /forum/forum9-mark.html
Disallow: /forum/forum10-mark.html
Disallow: /forum/forum11-mark.html
Disallow: /forum/forum12-mark.html
Disallow: /forum/forum13-mark.html
Disallow: /forum/forum14-mark.html
Disallow: /forum/forum15-mark.html
Disallow: /forum/forum16-mark.html
Disallow: /forum/forum17-mark.html
Disallow: /forum/forum18-mark.html
Disallow: /forum/forum19-mark.html
Disallow: /forum/forum20-mark.html
Disallow: /forum/forum7.html
Disallow: /forum/forum8.html
Disallow: /forum/index-mark.html
Disallow: /forum/online.html
Disallow: /forum/category
Disallow: /forum/viewonline

User-agent: thumbshots-de-bot
Disallow: /

User-agent: MSIECrawler
Disallow: /
Alle Zeiten sind UTC+01:00
Seite 1 von 1

Powered by phpBB® Forum Software © phpBB Limited

Deutsche Übersetzung durch phpBB.de