URLs mit Parametern aus Google Index entfernen

Beitrag von **m3abakus** » 24.10.2012, 18:05

Hallo,

Frage: Wie lassen sich tausende URLs mit Parametern aus dem Google Index entfernen?

1. Die "URLs entfernen" Funktion in den Webmaster Tools fällt aus, da jede URL einzeln eingetragen werden muss -> fail

2. Die "URL-Parameter" Funktion in den Webmaster Tools fällt auch aus, da ich damit nur das zukünftige crawlen der URL unterbinden kann, diese URL aber damit nicht aus dem Index gelöscht wird -> fail

3. Der Versuch über Meta-Robots = noindex zeigt nach 4 Wochen keine Veränderung im Google Index -> fail

4. Der Versuch über Meta-Canonical auf die selbe URL ohne Parameter weiterzuleiten zeigt ebenfalls nach weiteren 4 Wochen keine Veränderungen im Google Index -> fail

5. Die URLs per Robots.txt zu sperren bringt nichts, da dann Meta-Robots nicht mehr gelesen werden kann -> fail

Nun eine Idee: Wenn ich jeder URL, die ich nicht mehr im Google Index haben möchte, einen 410 Statuscode mitgebe, sollte das der Bot verstehen und die URLs doch zügig aus dem Google Index entfernen. Oder nicht?

Was haltet Ihr von der Idee, hat jemand Erfahrungen damit und gibt es evtl. alternative Lösungsansätze?

Hintergrund des Ganzen: Wir betreiben einen Webshop und von ca. 40.000 realen Seiten sind 400.000 Ergebnisse im Google Index. Wie kam das? Anfangs hatten wir eine robots.txt, die das crawlern von URLs mit /? untersagte. Dann kam eine SEO Agentur und gab uns zu verstehen, das wir die robots.txt entfernen und den Weg über Meta-Robots bzw. Meta-Canonical gehen sollen. Robots.txt entfernen, weil der Bot sonst nicht an die Meta-Robots bzw. Meta-Canonical Informationen kommt und diese dann auch nicht umsetzt. Ergebnis: 10mal mehr Seiten im Index und DC ohne Ende. Alle URLs die entfernt werden sollen, sind URLs mit Parametern für Sortierung und Ansichten (Liste/Galerie) oder Detailsseiten von Produkten in verschiedenen Variationen.

Ich wäre für eine fundierte Meinung, evtl. andere Lösungsansätze oder einem zustimmenden Feedback zur Idee dankbar!

P.S. Falls sich noch jemand für das Muster der URLs interessiert, kann ich gern ein paar nennen

https://www.domain.de/kategorie-a/?viewmode=list -> ändert die Darstellung der Kategorieansicht

https://www.domain.de/produkt-x.html?variant=blau -> zeigt den Artikel in der Variante 'blau' an

Ziel: Alle URLs mit Parametern sollen für immer aus dem Google Index gelöscht werden!

von **Anzeige von ABAKUS** »

Beitrag von **Melegrian** » 24.10.2012, 20:38

Eigentlich sollte es Variante 3 bringen. Bei einer Site benutze ich 3 und 5 zusammen und da schaffen es immer wieder einige Seiten in den Index, bei denen dann folgender Hinweis angezeigt wird.

Aufgrund der robots.txt dieser Website ist keine Beschreibung für dieses Ergebnis verfügbar. Weitere Informationen

Nun bisher habe ich mir da noch keine größeren Gedanken gemacht, da sich die Anzahl übers Jahr in Grenzen hält und die unbeabsichtigt indizierten Seiten sich nicht vermehren. Vielleicht solltest Du einfach einige Monate abwarten.

Der 410 wäre ja etwas irreführend, da die Seiten weiterhin existieren. Wie willst Du denn erreichen, dass der Googlebot als Antwort einen 410 erhält und nicht die Seite zu sehen bekommt? Mit php header("HTTP/1.0 410 Gone"); oder wie? Müsste das dann nicht über eine Weiche laufen für Bot und User/Browser, damit der Client einen anderen Statuscode vom Server erhält und der Bot eine leere Seite und irgendwie wäre das doch wohl auch nicht das Gelbe vom Ei.

Habe das mit dem PHP Header gerade mal ausprobiert. Ist ja nun nicht so wie bei einem 403 oder 404, da die Seite normal geladen wird. Nur wie reagiert dann ein Bot darauf? Der würde sich doch die Seite wohl ansehen. Somit müsste Dein Shop dem Bot beim 410 eine leere Seite ausliefern, dem User die Seite aber mit dem Content, den die Seite enthalten soll. Zusätzlich könnte/sollte der Client gleichzeitig einen anderen Statuscode erhalten. Aber die ganze Sache halte ich für eher fragwürdig.