Teilstrings in der robots.txt

[otterstedt]

Moin zusammen,

wie Mat Cutts gerade wieder berichtet versteht der Googlebot ja auch
Teilstrings wie z.B. "Disallow: *phpBB2/profile.php" usw. Eine sehr sinnvolle
Sache wie ich finde.

Wie setzt ihr das nun ein? Bisher bekommt das bei mir nur
"User-agent: Googlebot" zu sehen. Ist es sinnvoll das unter "User-agent: *"
einzutragen, oder kann es sein, dass sich andere Roboter daran verschlucken
und die robots.txt dann ganz ignorieren?

Ciao, Heiner

[larsneo]

ich würde - gerade wenn es um die proprietären erweiterungen des robotx.txt standards geht - das wirklich auch selektiv für die einzelnen bots eintragen.
dem vernehmen nach wird google auch sowieso gerne persönlich angesprochen.