Soeben ist mir völlig überraschend aufgefallen, daß mehrere neue Webseiten trotz Ausschluß in der robots.txt im google index auftauchen!
Ich dachte bislang immer, daß sich die googlebots an die robots.txt halten?!?
Ich wollte nämlich den link zum Impressum nicht in den index aufnehmen lassen, daß dieser nicht auch bei den Suchergebnissen auftaucht! Aus diesem Grund habe ich den entsprechenden Eintrag in der robots.txt vorgenommen. Außerdem habe ich die einzige verlinkung zum impressum über javascript getätigt. (Auch hier habe ich dazugelernt: den bots ist anscheinend die Syntax eines html-files egal, so lesen Sie auch aus js-Anweisungen die html-tags korrekt aus! - Also immer alles unlesbar machen!)
Ist Euch das nun auch aufgefallen? Es kann doch nicht sein, daß google die robots.txt jetzt auch ignoriert, vor allem weil ich aus den logfiles entnehmen konnte, daß die bots sie gelesen haben!
Grüße Thomas
Archiv
