robots.txt und Wildcards

Beitrag von **syco23** » 01.02.2005, 22:43

Hallo,

Ich möchte verhinder, dass Google diese und ähnliche Urls zu spidert:

www.forum.tld/forum/archive/t-4278.html?pda=1

während

www.forum.tld/forum/archive/t-4278.html

indiziert werden soll.

Wäre das dafür die korrekte Schreibweise?

User-agent: googlebot
Disallow: /forum/archive/*?pda=1$

Gruß,
Syco

von **Anzeige von ABAKUS** »

Beitrag von **danielsoft** » 02.02.2005, 17:04

Hallo,

habe auch eine Frage zu Wildcards in der robots.txt.

Wie kann man Spidern verbieten alle Unterordner der Domain zu spidern, außer einige bestimmte ??

Geht das so ?

User-agent: *
Disallow: /*/*
Allow: /de/*
Allow: /fr/*

Danielsoft

Beitrag von **Elmar2** » 02.02.2005, 18:32

https://www.suchmaschinenwiki.de/robots.txt

Das hatte Jan hier irgendwann mal gepostet. Wenn ich es recht verstehe, dann sind Wildcards nur für directories verwendbar. Korrigiert mich, falls ich mich irre.

Elmar