Zugriffe auf nicht-vorhandene Seiten / 404

[Rem]

Mir ist gerade aufgefallen, dass die Zugriffe auf meine 404-Fehler-Datei deutlich abgenommen haben:

Sun Feb 19th 2006 3,954
Mon Feb 20th 2006 5,363
Tue Feb 21st 2006 2,345
Wed Feb 22nd 2006 21
Thu Feb 23rd 2006 20
Fri Feb 24th 2006 3

Ausserdem gab es auf meiner Domain am Donnerstag ein überdurchschnittlicher Zugriff von Yahoo IPs:
Sun Feb 19th 2006 491
Mon Feb 20th 2006 553
Tue Feb 21st 2006 508
Wed Feb 22nd 2006 724
Thu Feb 23rd 2006 967
Fri Feb 24th 2006 339

Weiss da jemand was genaueres dazu? Meine technischen Möglichkeiten sind leider ein wenig begrenzt, um das Verhalten von den Yahoo-Spidern nachzuvollziehen...

Oder kann das mit der Aufnahme in den Yahoo-Index / Start einer Werbekampagne in Overture in Verbindung gebracht werden (vielleicht geben sie sich ja dann mehr Mühe )?

Ist das also eine generelle Änderung der Verhaltensweise des Yahoo-Spiders?

[Anonymous]

deine Zugriffe auf die 404 datei haben abgenommen und Donnerstag war wohl der Yahoobot etwas häufiger da...

mehr kann man anhand deiner Informationen nicht aussagen... aber diese Dinge hattest du ja selber schon gemerkt...

[Rem]

Gut, dann formuliere ich die Frage deutlicher:

Interpretiert Yahoo jetzt den 404 korrekt?

Denn die Dimensionen bei einer meiner Domains (im Februar) sind:
1. /404.htm 89,872 10.82%

Also 11% aller Zugriffe?

[Anonymous]

wer hat da denn zugegriffen und was wollte er haben....

hast du in letzter zeit großartig etwas an der Seite geändert, so dass also viele Seiten nicht mehr da sind oder so....

[Rem]

Mein Problem ist, dass die Änderungen vor einem Jahr stattfanden (also Verschieben von Dateien und Änderung des Dateinamens) und seither diese Massive Flut an 404 stattfand (eigendefinierte 404 Seite).

Checks mit dem Alexa-Link-Checker haben keine Fehler in der internen Linkstruktur ergeben.

Ich müsste allerdings einmal bei meinem Provider nachfragen, ob die an der Auslieferung der 404-Seite etwas geändert haben... Und nochmals detailliert nachforschen, wer den massiven Trafik wirklich verursacht hat.

Für den Normaluser war die eigendefinierte Seite kein Problem, aber vermutlich für die BOTs (oder speziell für Slurp). Aber ich gehe dem mal nach... Insofern sind das aber seltsame Prioritäten: wenn die 404 nicht ausgeliefert wird in Panik zu verfallen

Mir sind aber einige 404-Resultate von meiner Seite in der Yahoo-Suche aufgefallen, analog dem Hijacking-Phänomen... Darum habe ich diesen Thread wohl eröffnet. Zuerst habe ich auch tatsächlich eine "Metarefresh" auf der 404 eingebaut. Der ist aber schon seit drei Monaten draussen...

Schaun mr mal...

[Anonymous]

also anhand deiner Daten sehe ich eigentlich keinen zusammenhang zwischen der 404 und dem Besuch vom Yahoo bot... dass ein bot mal mehr mal weniger Seiten holt ist ganz normal...

und das drastische Absinken der 404 könnte mit dem verschwinden der alten URL's aus einer Suchmaschine zusammenhängen...

daher musst du dir mal genau ansehen wo die ganzen User mit den 404 herkamen....

[Rem]

Du hast recht, alleine aus den oberflächlichen Zahlen werde ich auch nicht schlau. Ich kümmere mich aber darum.

Bei mir stehen 5000 Aufrufe der 404 pro Tag einem Total von 2000 Refs aus Sumas gegenüber, was mir eigentlich immer anzeigte, dass der meiste Traf. auf der 404 "nicht menschlich" war. Den Rest finde ich aber mal raus.

Welches Tool empfiehlst Du mir? Alleine mit der Serverstat (AW Stat) geht das ja nicht... Die Log-Files kann ich mir problemlos runterladen...

Eine Anfrage an den Provider habe ich auch schon abgesetzt. Die Neugierde ist bei mir einfach zu gross...