ABAKUS

Du könntest ein Verzeichnis in der robots.txt sperren. Also entweder /produkt oder /kategorie.

Ja aber wenn ich /produkt im robot.txt sperre, kann die Suma dann überhaupt noch die Prosukte spidern? Denn dann würde ja die zieladresse ww..blabla./kategorie/produkt/name lauten. Wäre dann das ganze nicht auch gesperrt???

@Supergrobi,
1. ww..blabla.de/kategorie/name/produkt/name
2. ww..blabla.de/produkt/name

Wenn Deine Produkte jeweils in o.g. Verzeichnissen liegen, dann sperr einfach eins davon per robots.txt. Im nicht gesperrten Verzeichnis befinden sich ja ebenfalls noch diesselben Produkte.
Aber: Nicht jeder Robot hält sich an die .txt - Es reicht, wenn irgendein Robi sich NICHT daran hält und G**gle & Co. zufällig diese Infos auslesen (ohne jemals auf Deine gesperrten Verzeichnisse zugegriffen zu haben).
Hierzu gibt's im Forum genug Beiträge. Abakus' einfach mal ein bisserl.
MfG
Michael

es genügt in der robots.txt der blaba.de:

User-agent: *
Disallow: /k

Alles, was im Root! mit k beginnt, soll nicht aufgenommen werden. Gibt es dagegen Ordner und Dateien, die mit k im Root! beginnen, dann halt

User-agent: *
Disallow: /kategorie

Und die sinnvolleren Short-URLs werden gelistet.

Sodele, habe es jetzt mal mit

Disallow: /category/

versucht. Merci für eure Hilfe...

ich frag mich was daran so schlimm is. selbst wenn die zweite seite als DC gewertet wird, wird diese halt einfach nur in den filter nach hinten verlegt, der erst angezeigt wird, wenn du "weitere suchergebnisse anzeigen bla" klickst.

Du kannst auch die Seiten mit den Meta Tags sperren.
Dafür musst du im Header folgendes eingeben:
<META NAME="robots" content="noindex, follow">

So wird die Seite nicht in den Suchmaschinen im Index aufgenommen, Links auf der Seite werden aber verfolgt.

was ich mich die ganze zeit frage:

bei zwei unterseiten mit dc wird doch nur eine unterseite nach hinten verbannt... die eine seite bleibt doch weiter vorne

die komplette domain trägt doch keine schaden durch dc auf unterseiten

@supi: oben hieß das ungeliebte Verzeichnis noch "kategorie" ...

Allgemein wird eine (komplette HTML-) Datei durch ihren konkreten Platz im Internet identifiziert, durch ihre URL.

Wenn es aber zwei oder mehr URLs zu einer Datei gibt, die durch mangelhafte Scripte oder aber gewollt produziert werden, entsteht für uns Besucher unnötiger, unnützer, zum Teil nervender Spam. Weshalb sollte das Google fördern?

Eventuell ist es für ROM und balou sinnvoll, sich erst einmal etwas einzulesen: https://www.google.de/support/webmaster ... swer=35769

@webbox: das "noindex" ist natürlich völlig falsch, mein Gott- du schließt dadurch die Aufnahme jeder so gezeichneten HTML-Seite aus, egal, ob der Robot über die erste, die zweite oder tausendste URL für diese Datei kommt (oft gibts ja noch Session-IDs, Print-Dateien usw. aber auch externe Datendiebe/Kopierer) .

balou050701 hat geschrieben:was ich mich die ganze zeit frage:

bei zwei unterseiten mit dc wird doch nur eine unterseite nach hinten verbannt... die eine seite bleibt doch weiter vorne

die komplette domain trägt doch keine schaden durch dc auf unterseiten

Das ist defibitiv richtig... DC auf einer Domain ist nicht allzuschlimm und die Domain wird nicht verbannt.
Ärgerlich wird es, wenn man 2 Domains mit dem selben Inhalt hat, dann wird meist die ältere von beiden gekickt und die neue im Suchindex aufgeführt... was natürlich weh tut
... gibt es da eigenltich ne Möglichkeit, dass die alte Domain weider in den Index kommt? Oder bleibt die so lange draußen, bis man den Inhalt ändert?

@twitch

wie kann ich denn dc vermeiden bei einem online shop

erhalte die fertigen texte von meinem lieferanten... diese unterseiten sind in php und schlecht für die suchmaschienen zu optimieren soweit ich weiss

möchte seine domain nicht zerschießen oder seinem ranking schaden

ich möchte nicht über den shop gefunden werden

robots auf nofollow stellen oder?