Moin allerseits,
Angeblich versteht Slurp doch jetzt Wildcards
( https://www.ysearchblog.com/archives/000372.html )
Funktioniert das bei euch schon? Bei mir crawled er ungestört weiter.
Der Googlebot folgt den entsprechenden Anweisungen dagegen wie er soll.
z.B.
Disallow: *index.php?title=
soll doch alles sperren, das index.php?title= enthält, also auch
/blafasel/index.php?title=blafasel oder habe ich da etwas falsch
verstanden?
Danke, Heiner
Archiv