120.000 Seiten Crawlingfehler , google Einbruch

[dapapst]

Hallo,
dies ist mein erster Post, ich lese hier sporadisch schon seit Jahren mit. Aber jetzt brauche ich einmal eure Hilfe.

Es geht um erster Linie um folgendes Problem. Ich hatte auf meiner Webseite eine Unterseite mit fast "unendlich" Unterseiten. Es handelte sich um eine Suchseite mit folgenden Parametern "?suchparameter=x" . Dadurch hatte google einiges beim Crawlen zu tun. Jetzt haben wir die Seite vor einiger Zeit offline genommen, doch trotzdem versucht google die Seite zu crawlen.

Ich habe die Seite in der Robots.txt auf exclude gesetzt. Aber natürlich nicht alle Unterseiten. Dann habe ich in google webmastertools die Url entfernt. Jetzt weiß ich aber nicht ob das funktioniert hat oder nicht.

Zustäzlich ist der google Traffic total eingebrochen. Ob es daran liegt, kann ich leider nicht genau sagen. Wäre aber auch dort an einer Lösung interessiert. Vielleicht habt ihr ja spontan eine Idee woran das liegen könnte. Bin auf jedenfall für jeden Tip dankbar.

Cliffs:
1. Ich würde gerne eine Unterseite inklusive aller Parameter aus google entfernen, sodass google nicht versucht diese Seite zu crawlen. Die Seite sollte nach meinem Wissen nirgendwo mehr velinkt seint.

2. Mein googletraffic ist eingebrochen. Habt ihr spontan eine Idee woran das liegen könnte. Liegt es an den Crawlingfehlern ?

Danke für eure Hilfe!!

[bbnetch]

so wie deine statistsick sagt, hattest du ja vorher schonmal ein einbruch.
sieht mir eher nach google spinerei aus, denke seit diesem jahr haben schon viele webmaster solche komischen "auf und ab" statisticken gesehen.

[Stelufl]

Hallo,

wenn ich dich richtig verstehe wolltest du mit deiner Methodik die Suchergebnisseiten aus dem Index loswerden?

Leider hast du nun ein Problem, welches ich in ähnlicher Weise selbst hatte und was jetzt "schnell" nicht mehr behebbar ist, denn die 120k Fehler werden monatelang angezeigt bleiben. Google hat die ganzen Verweise auf die Suchergebnisseiten (Also vermutlich die Seite, auf die das Suchformular verweist..) im Cache gespeichert und das bleibt auch noch mehrere Monate so (bei mir gibt es z. B. auch zig 404 Fehler seit 2 Monaten, obwohl die Fehlerquelle länst beseitigt ist). Ich habe diesbzgl. bei Google im Forum nachgefragt (weil man mir auf Abakus nicht helfen konnte), auch dort hieß es ich könne diese 404er getrost ignorieren.. Allerdings sind es bei mir nur 200 bei 900 Seiten insgesamt

Angeblich soll man sich um diese Fehler nicht kümmern und sie würden irgendwann von selbst verschwinden. Es wirkt sich "im Allgemeinen" auch nicht auf dein Ranking aus, so Google.

Trotzdem: Du solltest das anders lösen. Stell die Suchseite wieder online. So werden Googles Anfragen mit den vielen verschiedenen Parametern wenigstens keine 404er mehr verursachen und deine User können die FUnktion weiterhin benutzen.
Zusätzlich gehst du in den WMT auf Konfiguration->Url Parameter und stellst folendes ein:

Parameter hinzufügen
Paramter: suchparameter
Ja, ändert den Seiteninhalt (Eingrenzung)
KEINE URLS

Auf diese Weise werden alle Unterseiten mit suchparameter=xyz nicht gecrawled und verschwinden früher oder später aus den SERPs, sofern die Seiten nicht auch anders erreicht werden können (z. B. durch andere Parameter)

Noch ein weiterer Schritt wäre die Möglichkeit, auf allen Seiten, die nicht indexiert werden sollen, das "noindex" meta attribut einzufügen.

Sofern die Suche doch entfernt bleiben soll, ignorier die 404er einfach. Die sind doch auch ganz normal in deinem Fall.

[Christian Kunz]

Richtig, und ich schlage vor, dass Du zuerst die Suchergebnisseiten per Meta-Attribut auf "noindex" stellst, bevor Du die Parameterbehandlung in den Google Webmaster Tools veränderst. Das Robots-Attribut ist der sauberste und einfachste Weg.

Gruß,
Christian

[michi1979]

ich würde über robots.txt mit einen Wildcard für den google-Bot alles ausschließen, was ?suchparameter= enthält. Zusätzlich noch die Seiten auf "noindex", wobei über robots.txt die Seiten deutlich schneller wieder aus der Google-Suche verschwinden. In den Webmaster-Tools kann es aber noch ein paar Monate angezeigt werden, da verschwinden maximal ein paar tausend Fehler pro Tag. So sind zumindest meine Erfahrungen bei einem ähnlichen Problem, auch wenn der google-Traffic damals nicht zurück ging.

[Christian Kunz]

Vorsicht mit der robots.txt - diese immer nur in Verbindung mit den Robots-Attributen verwenden. Denn sonst kann es zu unerwünschten Ergebnissen kommen - zum Beispiel Suchtreffer ohne Titel und Beschreibung.

Gruß,
Christian

[dapapst]

Vielen Dank für die ganzen hilfreichen Tips.

Werde jetzt die Seite wieder online Stellen und einfach per htaccess umbiegen. Und diese Seite auf noIndex stellen.

Das Problem an der Robots.txt und generell bei NoIndex ist, das zwar die Ergebnisse nicht bei google gelistet werden, die Seite aber weiterhin von google gecrawlt wird.

[Stelufl]

Deshalb auch der Tipp mit der Url Parameter Config in den WMT.. danach crawled google die Seiten nicht mehr!