Google indexiert wild leere Seiten

[NEO_SEO]

Moin,

bräuchte mal einen Rat. Ich betreue einen Mobilfunk Onlineshop der eine ältere Eigenentwicklung oder eine Modifikation eines alten Systems ist.

Ich hab diverse Änderungen vorgenommen und META title, description, canonical Links und natürlich kein DC und so wenig wie möglich internen DC.

Die Entwicklung schien ganz gut, die Besucherzahlen stiegen und dann wieder runter auf 20 Besucher pro Tag und zu dem Hauptkey verbannt auf Platz hinter 100 irgendwas.

In dem Mobilfunkshop sind viele Produktvarianten verfügbar. Produkt + Tarif. Diese Varianten sind mit einem canonical Link zum Hauptprodukt versehen um zu viel internen DC zu vermeiden. Zusätzlich ist das crawlen dieser Varianten über die robots.txt eigentlich Google nicht gestattet.

Alarmglocken an und den Index angeschaut. Das Problem ist, dass Google viele dieser Seiten indexiert. Was noch schlimmer ist das nahezu alle davon nach Änderung der Tarifstruktur nicht mehr aktuell sind und in dieser Kombination nicht mehr zur Verfügung stehen. Da das Shopsystem nicht in der Lage ist 404er auszugeben zeigt es nur eine leere Seite mit Navigation und Sidebar an

Also indexiert Google gerade viele "leere" Seiten obwohl es über robots.txt und canonical Links eigentlich unterbunden werden sollte.

Die störenden Seiten wollte ich über die Webmastertools entfernen lassen. Habe mehrmals einen Antrag gestellt und manche Seiten sind raus und andere wieder nicht.

Google indexiert aber fleisig weiter leere Seiten

Der Vermieter vom Shopsystem meint er kann das nicht so schnell ändern, dass nicht erreichbare Produkte eine 404er bekommen, erkönnte eine interne Weiterleitung auf die Startseite einrichten. Ist das sinnvoll?

[om-labs]

wenn die weiterleitung per 301 Redirect ist, dann ist es besser.

Nur als Hinweis:
Canonical und Disallow (robots.txt) sind nur Hinweise an den Crawler.
Wenn ich ein paar externe Links auf eine Seite mit Canonical setze, die auch noch per Disallow gesperrt ist, dann kommt die Seite trotzdem in den Index, weil die Seite ja wichtig ist und sie externe Links hat.

Wirklich sperren kannst du nur per "Noindex" im HTML oder Noindex in der Robots.txt funktioniert auch bei den Google Bots.

[NEO_SEO]

Also externe Verlinkung die dazu führt kann man hier nahezu ausschließen, da der Sop noch sehr jung ist. Liegt wohl eher an der internen Verlinkung, da diese über die angezeigten Produkte immer auf Produkt Tarifkombinationen zeigt.

Hab ich richtig verstanden: die bessere Lösung ist es die Seiten unter denen kein Inhalt ausgegeben wird per 301er auf die Startseite weiterzuleiten?

[om-labs]

wenn du keine andere möglichkeit hast, dann ja.

[dso]

Hey NEO_SEO,

das Canonical funktioniert leider schon etwas länger nicht mehr so wie es zuAnfang bei Google der Fall war. Ich habe schon bei vielen Seiten beobachten können, dass die URLs erst im Index landen (trotz Canonical!) und dann nach einigen Tagen / Wochen wie gewünscht verschwinden.

BTW.: Ich würde dir empfehlen auch internen DC zu vermeiden. Denn egal ob intern oder extern DC ist und bleibt nun mal DC

@om-labs:
Hast du für deinen Hinweis mit den externen Links "Beweise"? Ich meine der Canonical wirkt ja für Google wie eine Art Redirect. Wir konnten ebenfalls beobachten, dass die "Linkpower" auf die Seiten mit einem Canonical an die eigentlichen Seiten weitergeleitet wird.

Wäre spannend wenn Ihr da entsprechende Tests gefahren habt, denn ich kann das so von meiner Seite aus eher nicht bestätigen.

[NEO_SEO]

Interner DC ist bei meinem Shop garnicht zu verhindern. Beispiel:

1 Handy
30 Tarife zur Kombination

In Verbindung mit anderen Tarifen ist das Produkt unter einer anderen URL erreichbar, dieses wird allerdings über die robots.txt eigentlich ausgesperrt und mit canonical zum Hauptprodukt geleitet.

Soll ich jetzt 30 verschiedene Produktbeschreibungen für ein Handy mit unterschiedlichen Tarifen schreiben? Schon für Produkte in anderen Farben extra zusätzliche Produktbeschreibungen zu schreiben ist lästig.

Mag sein das man mit einem modernen Shopsystem solche Probleme umgehen kann aber ich muss das beste aus dem machen was ich hier habe

[dso]

Was würde gegen ein einfaches "noindex,follow" sprechen auf diesen Handy X mit Tarif Y Seiten?

Also nicht direkt in der Robots.txt diese Varianten zu verbieten, sondern klar im Header der Seite eben die Zeile bei Bedarf zu setzen oder eben nicht?

BZW: Grundsätzlich machst du es ja mit dem Canonical richtig.
Aber deine Aussage in der Frage, das du kein externen DC hast und internen "weitgehend" vermeidest hat mich da halt irritiert ,)

[NEO_SEO]

Problematik ist halt, dass es ein Mietvariante ist von einem Multishop und bei den 1000 Änderungen die ich mir gewünscht habe können ja leider nicht alle umgesetzt werden da das ja Auswirkungen auf alle Shops hat und so viel Arbeitsaufwand usw. und sofort, kommt davon wenn chef sparen will

[NEO_SEO]

Wenn ich die ganzen Produkt Varianten jetzt mit dem Noindex Tag versehe, dann hat der canonical Tag auf den Seiten (der die Quellseite markiert) ja garkein Sinn mehr oder?

[Synonym]

Der hat auch so keinen Sinn

In Verbindung mit anderen Tarifen ist das Produkt unter einer anderen URL erreichbar, dieses wird allerdings über die robots.txt eigentlich ausgesperrt und mit canonical zum Hauptprodukt geleitet.

Um den Canonical zu sehen muss der Bot die Seite besuchen, was ihm aber laut der robots.txt verboten ist. Ich würde den Eintrag in der robots.txt entfernen und nur mit dem Canonical auf das Hauptprodukt arbeiten, fertig. Eventuell das noindex, aber das ist eigentlich nicht wirklich erforderlich, wenn der Canonical da ist.

[NEO_SEO]

So habe ich ja am Anfang gearbeitet und auf diese weise ist das Problem ja erst entstanden. Hunderte sinnlose Seiten im Index die alle per canonical eigentlich auf die Quelle zeigen, ist google egal.

[Synonym]

Na dann poste doch mal die Seite. Wenn da ein sauberer Canonical drauf ist und sonst nichts, dann sollte das eigentlich kein Problem sein. Habe ich bei mir tausendfach. Du hattest aber was geschrieben von Canonical und robots.txt.

[NEO_SEO]

Mit der robots.txt hab ich erst angefangen zu arbeiten nachdem google nicht auf die Canonical Links reagiert hat, aber das hat es nur noch schlimmer gemacht.

Die Seite gibts per pm

[dso]

Wenn ich die ganzen Produkt Varianten jetzt mit dem Noindex Tag versehe, dann hat der canonical Tag auf den Seiten (der die Quellseite markiert) ja garkein Sinn mehr oder?

sicher, aber sagen wir doch mal wie es ist: wo ist das problem?

wie viele echte backlinks kommen auf diese seite die es lohnen würde per canonical auf die eigentliche hauptseite umzubiegen ich vermute mal gar keine oder eben nur ein verschwindend geringer teil. wenn du das ganze auf noindex,follow stellst gibt der link dann vllt. noch power an andere seiten weiter. wenn du den canonical drin lässt (zusätzlich zum noindex, follow), nimmt google vllt. irgendwann wieder den canonical vernünftig war.

also meine frage ist: was hast du zu verlieren wenn du das ganze wie vorgeschlagen auf noindex, follow setzt?

[Synonym]

Was er zu verlieren hat? Sagen wir es mal so, ich kenne die Seite nun ja...
Alle internen Links aus der Hauptnavigation gehen auf eine "Vertrags-Version". Wenn die noindex ist, dann sind alle eigentlichen internen Seiten auf noindex. Das Hauptprodukt selbst ist dann nur noch über die Sitemap verlinkt. Ich würde, nachdem ich das gesehen habe, ein noindex nicht mehr empfehlen. Canonical ja, aber nur in Verbindung mit einer sauberen robots.txt - dann sieht man vielleicht auch mehr, wo es hakt. Irgendwas ist, aber erkennen kann man es aktuell nicht wirklich, da es mehrfach geändert wurde.

Und... Normalerweise... Wenn auf der Seite ein noindex ist, dann wird auch der Canonical ignoriert. Alles andere würde keinen Sinn ergeben.