Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

trotz robots.txt im index! doppelter content!

Hier können Sie Ihre Fragen zum Thema Suchmaschinenoptimierung (SEO) / Positionierung stellen
Neues Thema Antworten

 Problem mit .htaccess

Komisches Mail was machen?

 
bydlo
PostRank 9
PostRank 9
Beiträge: 2209
Registriert: 11.12.2004, 01:03
Wohnort: Berlin

Beitrag von bydlo » 14.07.2005, 21:41

guten abend allerseits,habe trotz untenstehender robots .txt (auszug)viele dieser dateien(phpBB) im googleindex
https://www.google.de/search?q=site:axe ... rt=20&sa=N

wie kommt denn das und wie behebe ich dieses problem?
sehe da ein problem namens "duplicate content" auf mich zukommen
vielen dank schonmal..
gruss axel



Disallow: /foto-forum/config.php
Disallow: /foto-forum/profile
Disallow: /foto-forum/groupcp.php
Disallow: /foto-forum/memberlist.php
Disallow: /foto-forum/modcp.php
Disallow: /foto-forum/posting.php
Disallow: /foto-forum/privmsg.php
Disallow: /foto-forum/viewonline.php
Disallow: /foto-forum/faq.php
Disallow: /foto-forum/ptopic*.html$
Disallow: /foto-forum/ntopic*.html$
Disallow: /foto-forum/ftopic*asc*.html$
Nach oben
Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0
Nach oben
Chris2005
PostRank 9
PostRank 9
Beiträge: 1284
Registriert: 14.04.2005, 23:58

Beitrag von Chris2005 » 14.07.2005, 22:06

Das ist kein DC Problem. Google findet die URL, vermerkt sie bei sich als "gesperrt" und pumpt sie als URL-only in den Index. Passiert haufenweise bei SEO gemoddeten Foren. Bei mir taucht meine Bot-Trap auch im Index auf, obwohl Google sie nachweislich nicht gespidert hat.

Diese URL-only Skelette bekommst Du mit Hilfe der URL Console für 6 Monate aus dem Index. Danach muss man die Aktion wiederholen.
Nach oben
Gurgelboot
PostRank 8
PostRank 8
Beiträge: 769
Registriert: 22.01.2005, 02:23

Beitrag von Gurgelboot » 14.07.2005, 22:24

Ich habe bei mir festgestellt, dass sowas:
Disallow: /foto-forum/posting.php
nicht verhindert, dass z.B. .../posting.php?=blabla.. gespidert wird (von Google), daher meine robots.txt für mein mod_rewrite Forum so:
User-agent: Googlebot
Disallow: /forum/post-*.html$
Disallow: /forum/updates-topic.html*$
Disallow: /forum/stop-updates-topic.html*$
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/index.php*$
Disallow: /forum/viewtopic.php*$
Disallow: /forum/viewforum.php*$
Disallow: /forum/profile.php*$
Disallow: /forum/posting.php*$
Disallow: /forum/login.php*$
Disallow: /forum/privmsg.php*$
Disallow: /forum/faq.php
Disallow: /forum/search.php*$
Disallow: /forum/mark-forum*.html$
Disallow: /forum/therapeutisches_reiten.html?c=*$

User-agent: *
Disallow: /forum/viewtopic.php
Disallow: /forum/index.php
Disallow: /forum/memberlist.php
Disallow: /forum/posting.php
Disallow: /forum/profile.php
Disallow: /forum/faq.php
Disallow: /forum/viewforum.php
Disallow: /forum/search.php
Disallow: /forum/login.php
Grüsse :D
Nach oben
Anzeige von ABAKUS

von Anzeige von ABAKUS »

Nach oben