Ist der Google-Bot wahnsinnig?

[Michael1967]

Der Google Bot scheint dem Wahn verfallen zu sein. Nun besucht er mich seit einigen Monaten jeden Tag. Jedes mal greift er auf Seiten zu, die es seit Jahren gar nicht mehr gibt. Meine Log-Datei ist täglich gefüllt und zwar mit Error 404 Meldungen.

Nun frage ich mich, warum er das macht? Die Seiten sind schon lange aus dem Index raus. Will er die Seiten jetzt wieder in den Index aufnehmen? Ich habe da viel Zeit investiert, damit die Seiten aus dem Index gelöscht werden.

Hat vielleicht jemand eine Erklärung? Wie ist es möglich, dass Google auf Seiten zugreift, die seit Jahren gar nicht mehr online und auch nicht im Google-Index sind? Ist ein 404 Error hier überhaupt der richtige Weg?

Ich finde dieses Verhalten kommt dem Wahn schon sehr nahe. Neue Seiten kommen nicht in den Google-Index. Da verplempert Google lieber die kostbare Zeit damit und sucht Seiten, die es gar nicht mehr gibt.

[grebell]

Du bist nicht der Einzige, bei dem die alten nicht existenten Seiten immer zu gecrawlt werden und die neuen aber nur ganz wenig besucht werden und ganz, ganz langsam aufgenommen werden.

Diese Probleme haben aber offenbar die, die bereits alte und starke Seiten haben, nicht. Bei denen wird auch das neue Zeug gut von Googlebot gecrawlt und auch gut indexiert. Das stinkt nach Diskriminierung!

Da kann es nur zwei Gründe geben, denn das macht Google schon seit Wochen und Monaten so:

Entweder haben die große Probleme, Datenbanken und Steuerung des Ganzen, oder Google verarscht uns alle, so dass der, der neue Seiten in den Index bringen will, keinen Erfolg haben wird und so zu teueren Adwords greifen muss!

Such Dir einen Grund aus...

Für einen Milliardenschweren Konzern müsste man meinen, dass die das eigentlich in den Griff bekommen sollten, wenn die es wirklich wollen, zumindest nach Monaten, denn seit Monaten geht dieses Spiel schon...

So lange aber der "normale User" davon nichts mitbekommt, müssen die um deren Marktanteile nicht bangen und müssen sich somit auch nicht sonderlich beeilen.

[Christophe]

Das ist normal und in keinster Weise ein Problem.

[Michael1967]

Das ist normal und in keinster Weise ein Problem.

Für mich ist das aber ein Problem. Was ist daran noch normal? Es werden Seiten gecrawlt, die es seit Jahren nicht mehr gibt. Neue Seiten hingegen werden so gut wie gar nicht gecrawlt, obwohl genug Inhalt vorhanden ist.

Es ist ja nicht bei jeder Seite so und deswegen muss es ja auch irgendwelche Gründe für dieses Verhalten geben. Und genau diese würde ich als ein Problem bezeichnen.

An der ersten Antwort ist schon was dran. Wer selbst nicht betroffen ist kann hier auch nicht von einem Problem sprechen.

[fw]

Ist der Google-Bot wahnsinnig?

<off-topic>Nein, er will dich in den Wahnsinn treiben. </off-topic>

[Michael1967]

<off-topic>Ja, oder so</off-topic>

[Christophe]

Lege eine Weiterleitung von den alten auf die neue Adressen an. Mehr kannst du nicht machen. (Außer mehr Backlinks auf die neuen Seiten zu setzen.)

[Michael1967]

Lege eine Weiterleitung

Keine Ahnung wie ich das machen könnte. Es handelt sich dabei um viele verschiedene Links. Die kann ich ja nicht alle mit nur einer Weiterleitung umleiten.

Müsste ich da für jeden dieser Links eine Weiterleitung setzen? Oder wie ist das gemeint?

[Fluidum]

Nö,musst du nicht... du kannst mit Wildcards arbeiten!

[Michael1967]

Wildcards? Was ist das nu wieder?

[Fluidum]

Wildcard = Platzhalter

Mal angenommen die Seiten von dir (die alten) waren in einem verzeichnis xyz (deinedomain.tld/xyz/) dann kannst du diese Anfrage z.B. durch mod_rewrite auf deinedomain.tld umlaiten und das mit einer Zeile!

[Michael1967]

Ja und das hat welchen Vorteil? Ist dann nicht unter all diesen Links meine Domain erreichbar? Und Google nimmt diese Links nicht in den Index auf, wenn diese umgeleitet werden?

Sorry, aber ich habe null Ahnung *gg*

[Fluidum]

Du leitest die alten Seiten auf die neuen um... oder direkt auf die domain (je nach dem ob sich der content geändert hat)!

Wenn du das hast, dann hast du auch nicht mehr die 404er Meldungen.

[Mortan]

Ich glaube die Jungs von Google haben vor einigen Monaten die Kontrolle über den Googlebot verloren. Der Googlebot rastete völlig aus, entwickelte eine eigene Intelligenz und versuchte die Weltherrschaft an sich zu reißen. Um ihn zu stoppen hat Google seine Gedächtnis Datenbanken gelöscht. Jetzt irrt er als verwirrter Geist durch Internet und versucht uralte Seiten zu crawlen.

[MeNoZony]

Ich glaube die Jungs von Google haben vor einigen Monaten die Kontrolle über den Googlebot verloren. Der Googlebot rastete völlig aus, entwickelte eine eigene Intelligenz und versuchte die Weltherrschaft an sich zu reißen.

Sehe ich ähnlich.
Vor einigen Monaten hat der Bot Deutschland als Feldversuch ausgewählt und hat es sogar geschafft, einen ostdeutschen Aktenkoffer mit 99% zum SPD-Vorsitzenden wählen zu lassen.
Keine Ahnung wie er das geschafft hat, aber normale Menschen würden sowas nie tun.
Gottseidank hat der Bot zwischenzeitlich an Intelligenz gewonnen, gemerkt, wie wertlos die SPD eigentlich ist und Platzek zum Abdanken gezwungen.
Wie irre das Ding trotzdem noch ist merkt man daran, daß jetzt der Dicke aus der Pfalz SPD-Chef ist- als ob wir von Dicken aus der Pfalz noch nicht genug beglückt worden wären- kann also auch nur eine Verschwörung des Bots' sein, denn denkende Primaten würden auch Beck nicht wirklich wählen- bei durchgeknallten Bots sieht das schon anders aus. Wahrscheinlich müssen wir auch mit Nahles als Kanzleuse rechnen, es sei denn, jemand zieht rechtzeitig den Stecker.
Momentan arbeitet der Bot daran, Trinidad und Tobago zum Weltmeister zu machen.
Das wird zumindest komisch.
Ganja!
Piece!

(Momentemal. Wieso kommt da ein irres Lachen aus der CPU???)