Teilstrings in der robots.txt
Verfasst: 24.03.2006, 10:52
Moin zusammen,
wie Mat Cutts gerade wieder berichtet versteht der Googlebot ja auch
Teilstrings wie z.B. "Disallow: *phpBB2/profile.php" usw. Eine sehr sinnvolle
Sache wie ich finde.
Wie setzt ihr das nun ein? Bisher bekommt das bei mir nur
"User-agent: Googlebot" zu sehen. Ist es sinnvoll das unter "User-agent: *"
einzutragen, oder kann es sein, dass sich andere Roboter daran verschlucken
und die robots.txt dann ganz ignorieren?
Ciao, Heiner
wie Mat Cutts gerade wieder berichtet versteht der Googlebot ja auch
Teilstrings wie z.B. "Disallow: *phpBB2/profile.php" usw. Eine sehr sinnvolle
Sache wie ich finde.
Wie setzt ihr das nun ein? Bisher bekommt das bei mir nur
"User-agent: Googlebot" zu sehen. Ist es sinnvoll das unter "User-agent: *"
einzutragen, oder kann es sein, dass sich andere Roboter daran verschlucken
und die robots.txt dann ganz ignorieren?
Ciao, Heiner
