Hmm *grübel*
@AnjaK:
Also wenn ich Dich richtig verstehe, dann möchtst Du G-Bot beim ersten Zugriff auf eine Seite (und von dort an jeden zweiten Zugriff) genau auf dieselbe Seite per 301 Umlenken?
tja, ist wohl eine gute Frage was sich G-Bot dann "denkt". Vielleicht fühlt er sich ja auch verschaukelt, wenn eine Seite auf sich selber umgeleitet ist? Wenn x.tld/a.html auf x.tld/a.html per 301 Umleitet, dann denkt er vielleicht, man wolle ihn in eine Endlosschleifenfalle locken und verschwindet erstmal wieder?
Warum sollte G-Bot auf die Idee kommen, die Seite ein zweites mal direkt danach erneut zu lesen, wenn er sowas findet? Aber wer weiss schon, was in G-Bot so vorgeht
Allerdings vermute ich mal, wird G-Bot immer die letzte Version einer Seite die er findet für gültig halten. Wenn er beim zweiten mal die Seite ganz normal bekommt, wird er vermutlich davon ausgehen, dass die alte Version mit dem 301er durch die neue, normale Version ersetzt wurde.
Die Seite mit dem 302er hat sich aber nicht geändert, so dass er die Beziehung zwischen beiden Seiten vermutlich auch wieder genauso wie vorher auch einschätzen wird (also der Hijack-Bug bestehen bleibt).
Aber damit das mit dem "Merken per Variable" geht, müsste man sich doch auch die genaue Seite und die IP des G-Bots merken, oder?
Ansonsten stelle ich mir das chaotisch vor, wenn die cawler im Rudel kommen. Also zumindest bei mir kommen oft mehrere crawler gleichzeitig und teilen sich die Arbeit, in dem sich jeder andere Seiten anguckt. Ich vermute mal, bei euch wird es ähnlich sein.
Wenn sich crawler A dann Seite x anschaut und den 301er bekommt, und crawler B dann Seite y anschaut bevor der andere Crawler sich wieder Seite x ansieht ja ebenfalls ein 301er bekommen.
Also müsste man es schonmal seitenabhängig machen.
Und was ist, wenn Crawler A sich Seite x anschaut, aber dann erstmal auf Grund der vermuteten Endlosschleife (oder weil ihm einmal nach der Seite schauen für eine Zeit erstmal reicht) sich erstmal Seite b widmen will? Dann müsste er dort ja erstmal ebenfalls einen 301er bekommen.
Das ganze lässt sich noch beliebig verkomplizieren, so dass man sich eigentlich genau den Crawler und die Seiten merken müsste.
Aber da die Crawler keine komplett eigenständigen Einheiten sind, sondern sich untereinander "absprechen" bzw. die Arbeit teilen, wird es eigentlich ganz unmöglich nachzuvollziehen wann man dann den 301er senden müsste. Wenn erst Crawler A mal auf Seite x einmal nachschaut, und nach beliebiger Zeit Crawler B mal nachchauen will was nun mit Seite x ist, willst Du dann diesen Zugriff noch als zugehörig zum ersten von Crawler A zählen oder lieber doch nicht?
Bevor ich mir noch weiter das Gehirn verrenke und mich dann nachher komplett selber verwirre:
Google wird doch vermutlich immer die letzte Version einer Seite die es findet für die nun gültige Version halten (alles andere macht ja auch irgendwie keinen Sinn). Als letztes (oder besser: Jedes 2. mal) findet er immer die "normale" Version, also die ohne 301er.
Damit wird das ganze doch komplett wirkungslos, oder?
Im schlimmsten Fall wertet er Deine Seite vielleicht sogar ab, weil sie dauernd abwechselnd mal Content und mal einen 301er enthält (und dazu noch so einen auf sich selber). Eventuell stuft Google das dann auch als (schlecht funktionierende
) Cloaking-Seite ein.
Bitte meinen Beitrag nicht falsch verstehen: Er ist nicht negativ gegen Dich oder Dein Vorhaben gemeint. Im Gegenteil, es wäre schön etwas wirkungsvolles gegen diesen 302er-Bug zu finden, und ich finds es gut dass Du uns an Deinen Experimenten und Überlegungen dazu teilhaben lässt.
Ich sehe halt nur nicht, wie diese Methode überhaupt funktionieren könnte. Eher nur, dass sie Deiner Seite bei Google sogar schaden könnte.
Aber wer weiss, vielleicht finden wir hier in diesem Forum ja doch mal eine Methode sich gegen diesen Bug zu schützen. Oder was noch schöner und einfacher wäre: Vielleicht schafft Google es endlich mal den zu beheben *träum*
