robots.txt

[dirsch]

Moinmoin

kann man eigentlich mit der robots.txt auch eine Gruppe von Dateien sperren, die z.B. mit dem gleichen Buchstaben beginnt.
Beispiel:
Existierende Datein wären abc.php, aab.php, bbb.php, ccc.php, ect.
Die Crawler sollen nur bbb.php und ccc.php spidern können.
Funktioniert dann dies hier?
User-agent: *
Disallow: /a*

Gruß
Dirsch

[danielr]

@dirsch

hab ich so noch nicht gesehen.
trag es doch mal ein und nutze dann einen robots.txt syntax checker.
der sagt dir dann schon ob das so klar geht.

gruß,
danielr

PS: wenn dann /a*.* , weil nur /a* könnte ja auch verzeichnisse meinen.

[magadoo]

Laut Google kann man sowas für den Googlebot definieren:

Außerdem versteht Googlebot einige Erweiterungen des robots.txt-Standards: Die Syntax für den Ausschluss von Dateien kann z.B. ein * enthalten, um eine beliebige Zeichenfolge anzugeben. Wenn eine Zeichenfolge mit $ endet, muss $ dem Ende eines Namens entsprechen. Wenn Sie beispielsweise verhindern möchten, dass Googlebot Dateien mit der Erweiterung "gif" durchsucht, können Sie den folgenden Eintrag in der Datei robots.txt verwenden:

Code: Alles auswählen

User-agent: Googlebot
	   Disallow: /*.gif$

[dirsch]

PS: wenn dann /a*.* , weil nur /a* könnte ja auch verzeichnisse meinen.

Hmmm, auf die /a*.* kam folgende Antwort:

The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar

Ich fürchte auch, daß mit der /a* Version auch nur die Verzeichnisse gesperrt werden, die mit "a" anfangen und nicht die Dateien.

Dirsch

[danielr]

Code: Alles auswählen

User-agent: Googlebot
	   Disallow: /*.gif$

dann vielleicht Disallow: /a*.php$

gruß,
danielr

[dirsch]

Laut Google kann man sowas für den Googlebot definieren...

Beim Versuch mit /a*.php$ kam mit dem robots.txt syntax checker die gleiche Meldung wie mit /a*.*

Dirsch

[danielr]

@dirsch

was sagt er bei /*.php$ ?

auf jeden fall kannst du einzelne seiten ausgrenzen , aber das ist sicher nicht gewollt von dir, denn dann müßtest du alle einzeln reinschreiben.

gruß,
danielr

[dirsch]

was sagt er bei /*.php$ ?

Das gleiche Problem. VIelleicht kommt der Syntaxchecker damit nicht klar, aber Google kann es lesen!?!

auf jeden fall kannst du einzelne seiten ausgrenzen , aber das ist sicher nicht gewollt von dir, denn dann müßtest du alle einzeln reinschreiben.

Genau das ist das Problem. Ich müßte mehrere hundert Seiten von Hand eintragen, diese Arbeit wollte ich mir ersparen

Dirsch

[danielr]

@dirsch

dann mach mal bitte einen test mit z.b. /zz*.php$ und sage teile uns dann mit was google gemacht hat. und eine datei zz.php nicht vergessen online zu legen.

gruß,
danielr

[dirsch]

Versuch läuft, sobald ich was weiß geb ich dann Bescheid.

Dirsch

[danielr]

@dirsch

ok super. danke!

gruß,
danielr

[magadoo]

The "*" wildchar in file names is not supported by (all) the user-agents addressed by this block of code. You should use the wildchar "*" in a block of code exclusively addressed to spiders that support the wildchar

Genau das ist das Problem. Für den Syntaxchecker musst du bei wildchars einen Bereich schreiben, der auschliesslich für den Googlebot bestimmt ist:
Anstatt

Code: Alles auswählen

User-agent: *

das hier:

Code: Alles auswählen

User-agent: Googlebot