Yo,
es geht um folgende Seite: https://www.abi007.org/.
Wie jeder sehen kann, enthält die Seite im Header ausführliche Meta-Angaben, unter anderem eine Robots-Anweisung und einen Verweis auf die robots.txt.
Ich habe als Robots-Anweisung "index,follow" stehen, aber seltsamerweise sind fast keine Unterseiten bei Google aufgelistet! Die Bots von Google waren zuletzt vor 7 Tagen auf der Page, aber warum folgen sie den Unterverweisen auf der Startseite nicht und warum befolgen sie nicht die Anweisungen in der robots.txt?
In der robots.txt steht z.B., dass das Subdirectory "/thwb/" nicht eingelesen werden soll, weil es schon seit langem nicht mehr existiert. Aber Google hat das Verzeichnis immer noch gelistet!
Woran liegt das? Ist es evtl. ein Problem, dass auf allen Unterseiten immer der gleiche Header vorkommt??
Danke für Hilfe!!
Archiv
, aber man sollte das auch nicht zum Non-Plus-Ultra erheben!
) 