Google entfernt Sprachversionen aus dem Index

[rs_webdev]

Hallo,

wir haben ein seltsames Problem mit der Indexierung unserer Seiten bei Google.

Wir haben eine dreisprachige Webseite und verkaufen mehrere (Software)-Produkte.

Die Startseiten der Produkte lauten wie folgt:
/[sprachkürzel]/[produktname]/index.html

Seit Ende letzten Jahres ist bei jedem Produkt die entsprechende Startseite in de oder en aus dem Google-Index entfernt. fr ist nicht betroffen.

Überprüft man z.b. mittels site:[domain] inurl:/en/one/index.html den Index, ist dieser leer. Bei de hingegen ist die Seite vorhanden. Bei anderen Produkten ist es teilweise umgekehrt.

Wir hatten vor ca. zwei Monaten die Domains zusammengeführt. Vorher hatte jedes Produkt eine eigenen Domain. Passend zur Produktstrategie wurden diese auf eine Domain zusammengeführt. Wir werden von relativ vielen Blogs verlinkt - da sind natürlich zum Grossteil noch die alten Domains vorhanden. Hier gibt es entsprechende redirects. Bisher hatte das problemlos funktioniert und die fehlenden Seiten waren auch schon unter neuer Domain im Index.

Die Sprachversionen der Seiten sind weitestgehend identisch bzgl. Struktur etc. der Inhalt inkl. title und description ist natürlich komplett übersetzt.

Wir vermuteten zuerst den Sprachumschalter, da dort Links ohne Textinhalt vorkamen. Das haben wir inzwischen geändert, so dass auch in z.B. lynx diese Links sichtbar sind.

Teilweise haben wir auch versteckten Content (display: none;), der erst mittels Javascript angezeigt wird. Das haben wir testweise auf einer der fehlenden Seiten entfernt - bisher ohne Effekt.

Kommt man frisch auf die Domain wird serverseitig per Browser-Locale etc. entschieden welche Sprache dem Nutzer angezeigt wird. Entsprechend bekommt der Nutzer einen Redirect (301) auf [domain]/[sprachkürzel]/start. Früher wurde in den Suchergebnissen je nach Sprache des Suchenden die entsprechende Sprachversion angezeigt und auch verlinkt. Hier ist die deutsche Seite nicht mehr im Index.

Unsere Domain ist: audials pünktchen com

Gruss und Danke schonmal

[chris21]

1. Ich kann die Inhalte auch ohne Sprachkürzel Ordner aufrufen.

z.B. /extras/ichwill/

2. Der Googlebot sendet Dir vermutlich kein Brwoser-Locale. Dementsprechend wird der Bot nicht vernüftig weitergeleitet.

[mano_negra]

2. Der Googlebot sendet Dir vermutlich kein Brwoser-Locale. Dementsprechend wird der Bot nicht vernüftig weitergeleitet.

er hat aber doch alles verlinkt.

[chris21]

Aber die Inhalte sind dann doppelt vorhanden. Einmal mit /de/, einmal ohne.

Zudem sendet mir der Server bei zahlreichen Unterseiten derzeit einen 500 Error...

[rs_webdev]

Vielen Dank schonmal für eure Antworten.

Ich kann die Inhalte auch ohne Sprachkürzel Ordner aufrufen.

z.B. /extras/ichwill/

/extras ist ein spezialfall, dort liegen tools und scripte etc. Darüber bekommt man die Inhaltsseiten nicht.
Das soll auch in Zukunft nicht mehr indexiert werden.

Die benannte Seite von dir ist auch nur eine Testseite - daher kommen denke ich auch die von dir erwähnten 500er. Warum diese Seite bei site:[domain] soweit oben ist, ist mir unerklärlich.

Aber die Inhalte sind dann doppelt vorhanden. Einmal mit /de/, einmal ohne.

Ohne Sprachkürzel kann man die Inhalte nicht aufrufen. Also eine Seite mit Sprachkürzel kann man nicht ohne Sprachkürzel aufrufen. Hast du da ein Beispiel gefunden?

[domain]/one/index.html ist z.B nicht möglich. Nur [domain]/[sprachkürzel]/one/index.html

Der Googlebot sendet Dir vermutlich kein Brwoser-Locale. Dementsprechend wird der Bot nicht vernüftig weitergeleitet.

Wenn das so wäre, dann würde google ja im Falle der Startseite immer den redirect auf eine bestimmte Sprache bekommen. Aber das tritt nur in diesem einen Fall auf - die anderen Produktseiten haben ja eigene Urls ohne automatische Entscheidung.
Wie mano_negra ja sagte sind die Seiten aber trotzdem verlinkt - sollten also zumindest im Index sein - vielleicht schlechter gerankt, aber vorhanden sollten sie sein. Ausserdem sollte sich das Problem ja dann auf eine bestimmte Sprache reduzieren und nicht willkürlich de oder en.

[chris21]

Ok, da hatte ich zu kurz Eure Struktur analysiert.

Wenn ich eine Google Abfrage auf site:www.example.com/de/ oder .../en/ starte, sieht es allerdings gut aus.

Eventuell listet Google die Inhalte für einige Unterseiten noch unter den alten Domains - z.B. zum Produkt one, sofern es da eine gab.

In letzter Zeit jedenfalls wertet Google 301 Permanent Redirects allzuoft wie 302 Moved Temporarily Redirects und belässt daher erstmal die alten URLs im Index.

Dann würde der Index der neuen URL unter Eurer Seite einfach als DC gelten und aus dem Index fliegen.

[rs_webdev]

Das mit der Domainumstellung hatte schonmal funktioniert. Also die entsprechenden Seiten waren schon korrekt im Index.

one ist das Produkt (das ist quasi alle anderen Produkte in einem Produkt) der jetzigen Domain. Alle anderen Produkte hatten eigene domains.

Bei den alten Domains ist auch kaum nochwas im Index - nur noch ein paar Spezialseiten, die mit der Webseite selbst eigentlich wenig zu tun haben.
Also speziell sind die alten Urls der fehlenden Seiten nicht mehr drin.

[mano_negra]

ich habs mir jetzt wirklich nicht genau angesehen aber

was hat es mit radiograbber net auf sich?

und die genannte engl.seite: softwarecasa hat zb. den identischen text.

[rs_webdev]

radiograbber ist eine Seite für einen Affiliate - das ist meines Wissens unterschiedlicher Content [edit=falsch gewusst - scheint doch ziemlich viel identisch zu sein]. Die Seite betrifft aber nur ein Produkt - die anderen Produkte gibt es dort gar nicht - also da ist die Wahrscheinlichkeit von doppeltem Content eigentlich nicht existent.

Ja, diese Softwareverzeichnisse kopieren teilweise den Text. Die sind meistens besser verlinkt. Wir sind aber natürlich die älteste Seite mit diesem Inhalt und eben auch kein Verzeichnis. Die Verzeichnisse produzieren auf diese Art und Weise ja nicht nur bei uns doppelten Content.
Würde man doppelten Content nicht von Google per Webmastertools gemeldet bekommen?

Ich habe grade mal nachgeforscht und es ist tatsächlich so, dass man Content von den verschwundenen Seiten so findet - den von den nicht verschwundenen auch nicht. Das Problem ist, dass die auch keine Backlinks zu uns gesetzt haben. Also jetzt z.B. im Fall von softwarecasa. Da kann ich schon fast nicht mehr an einen Zufall glauben.

[mano_negra]

ich denke auch das dies das eigentliche problem sein kann.
es ist kein spezielles problem deiner sprachversionen, sondern dass google generell einige deiner seiten aus dem index nimmt.
dc wäre ein naheliegender grund.
und ob du das eigentliche original bist ist google leider relativ wurscht, wenn die andere seite besser verlinkt ist.

[rs_webdev]

Würden Backlinks von diesen Seiten das Problem beheben?

Möglich ist das wahrscheinlich in den genannten Fällen leider nicht. Da müssten wir veranlassen, dass dort der Content geändert wird.

Bekomme ich das irgendwie raus, wenn Google die Seite wegen doppeltem Content entfernt - oder kann man da nur Vermutungen anstellen?

[rs_webdev]

Mir ist noch was zu DC eingefallen. Unsere Seite ist sowohl über http als auch https erreichbar. Das sollte eigentlich unproblematisch sein - oder?