Query String in Robot.txt ????

Beitrag von **hzfalcon** » 17.12.2007, 12:17

Hallo ~~

Habe heute ein Problem gefunden.. also bei uns gibt's eine Seite .. sage mal
'liste.html' .. und diese Seite ist auch durch z.B.

'liste.html?kategorie=13' zu erreichen.

Google hat die beide gespidert.... das ist natürlich nicht gut..
Also meine Frage ist.. ist das überhaupt möglich dass ich in einem Robot.txt
so was zu schreiben ??

Disallow: /pfad/zur/datei.ext?QS1=xxxxx ..

??

Vielen Dank

von **Anzeige von ABAKUS** »

Beitrag von **marguardth** » 17.12.2007, 12:30

du kannst in die robots.txt schreiben, was du willst. im hinterkopf musst du dabei aber behalten, dass nicht alles auch eine wirkung hat.

zur frage:
Disallow: /*?QS1=

sollte alle anfragen abfangen, die wie dein obiger beispielpfad aufgebaut sind; egal, wie der pfad aufgebaut ist und egal, wie der query string aussieht.

Beitrag von **hzfalcon** » 17.12.2007, 13:26

Danke für die Antwort.... es ist ja klar ,...
hier * heisst beliebige Zeichenketten...
aber gilt hier das Fragezeichen '?' als ein 'Fragezeichen' oder als ein spezielles, das für EIN beliebiges Zeichen steht ??

Wenn ich auf ganzem Website die URLs mit Querystring verstecken vor Spiders,
ist dies richtig ?

Disallow: /*?*

Danke im Voraus

Beitrag von **SloMo** » 17.12.2007, 15:52

? steht für ein Fragezeichen. Das einzige Wildcard ist *, und das verstößt eigentlich schon gegen den ursprünglichen Standard...

Aufschlussreich ist auch der Wikipedia-Artikel:
https://de.wikipedia.org/wiki/Robots_Exclusion_Standard

Beitrag von **huah** » 18.12.2007, 16:44

hzfalcon hat geschrieben: Wenn ich auf ganzem Website die URLs mit Querystring verstecken vor Spiders,
ist dies richtig ?
Disallow: /*?*

ja

Beitrag von **twiggie** » 18.12.2007, 17:27

So weit ich weiß hält sich aber nur Google an Wildcards.
Wobei das eigentlich ja auch reichen sollte bei der geringen Bedeutung der anderen Sumas.
Twigg

Beitrag von **MikeK** » 20.12.2007, 00:02

In den Google Webmaster Tools, kannst Du Deine robots.txt testen! Du kannst auf einer Seite herumexperimentieren und an div. URLs prüfen, ob Google die robots.txt so auswertet, wie Du dir das vorstellst.