Hat jemand beobachtet, was der Mozilla-Bot mit 301 macht?
Prob ist, dass wir seit bei nem großen Portal seit Monaten umgezogene DC-Content Seiten aus Google raus bringen müssen.
Es ist ja das Kernproblem, dass Google nicht mehr verlinkte Seiten ewig im Index lässt.
Der Mozilla-Bot crawlt mit hundertausenden Aufrufen in der Woche unsere Seiten durch (auch die nicht mehr verlinkten!). Mit 404 und vor allem noindex macht er gar nichts! Er lässt die Seiten einfach im Netz. Der normale Bot ist leider kaum noch aktiv.
Jetzt möchten wir es mit 301 probieren. Weiß hier jemand, ob der Mozilla-Bot irgendwie eine 301 Information bearbeitet und die alten Seiten dann rausschmeißt?
Oder hat jemand andere Beobachtungen bezüglich des Mozilla-Bots`?
Ich habe es einmal an einer Seite ausprobiert, und es hat funktioniert.
Die umgeleitete Seite ist dann Stück für Stück in den Serps abgefallen, und nach ca. 2 Monaten war sie ganz raus.
Mit 404ern hatte ich bis jetzt wesentlich weniger Erfolg. Momentan teste ich mit 410ern rum, aber erst seit kurzem, so dass ich dazu noch nichts sagen kann.
Ob es nur der Mozilla-Bot war weiss ich nicht. Darauf hatte ich ehrlich gesagt nicht geachtet. Ich hatte alle paar Tage mal in den Serps nachgeschaut und gesehen, dass die Seite immer weiter fällt. Damit war ich zufrieden (das war ja das was ich wollte) und habe nicht drauf geachtet, was genau von google nun die Seite besucht hat.
Probier es doch einfach mal aus?
Bei 404ern lässt sich Google auf jeden Fall viel Zeit, was ich auch verständlich finde, da es sich um ein temporäres Problem handeln könnte.
Wenn man mit dem Google Removal Tool löscht, kommen die Seiten irgendwann wieder (spätestens nach 180 Tagen). Zudem geht es hier um über 100.000 URLs.
Mir geht es bei dieser Nachfrage bitte wirklich nur um das angesprochene.
Fakt ist, dass der Mozilla-Bot hundertausende Bot-Besuche pro Woche bei uns hat und quasi alles jemals indizierte immer wieder besucht - aber nichts altes (nicht mehr verlinkt) trotz 404 oder "noindex, noarchive" (beides schon probiert) löscht.