Heute ist mir bei der Logauswertung dieser Bot aufgefallen:
FEEDFETCHER-GOOGLE; (+HTTP://WWW.GOOGLE.COM/FEEDFETCHER.HTML)
Gut, ich habe mich schon soweit informiert, dass es sich offenbar um eine RSS bzw. Atom-feed Reader handelt.
Aber warum liest dieser Reader bei mir eine Seite, welche eigentlich nur HTML ausgibt. Ich habe auf der gesamten Site überhaupt keinen Feed installiert und hatte das noch nie.
Vielmehr ist es in diesem Fall sogar so, dass die betroffene Seite seit Monaten per Javascript auf den Hauptcontent umgeleitet wird, ...
...sodass es mich wundern würde, dass ein "meschlicher" Besucher, selbst wenn er JAVASCRIPT ausgeschaltet hätte, doch zumindest sehen würde, dass es sich bei dieser Seite NICHT um einen FEED handelt.Google hat geschrieben: Da alle Anforderungen von menschlichen Nutzern stammen, wurde Feedfetcher so konzipiert, dass er robots.txt-Dateien ignoriert. Erfahren Sie mehr..
Any Ideas?