Naja, genau weiß ich es nicht. Ich habe ein kleines PHP-Script laufen, das mir Mails schickt, sobald ein 404 auftritt. Damit habe ich diese Fehler immer schnell im Blick und kann korrigieren.
Das klappt übrigens auch immer wunderbar.
Das ist dann so eine Mail:
Auf der Website https://meine-domain.de ist ein Fehler 404 aufgetreten.
Aufgerufene Ressource:
https://www.meine-domain.de/sitemap.rss
User-Agent:
Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)
und
Auf der Website https://meine-domain.de ist ein Fehler 404 aufgetreten.
Aufgerufene Ressource:
https://www.meine-domain.de//sitemap.rss
User-Agent:
msnbot/1.1 (+https://search.msn.com/msnbot.htm)
Die Abfragen erfolgen einfach mir solchen Befehlen wie z. Bsp. $_SERVER["HTTP_REFERER"]
Wenn ich selbst so einen 404 erzeuge, steht dann auch alles Ordnungsgemäß da.
Grüße