Seite 1 von 1
Query String in Robot.txt ????
Verfasst: 17.12.2007, 12:17
von hzfalcon
Hallo ~~
Habe heute ein Problem gefunden.. also bei uns gibt's eine Seite .. sage mal
'liste.html' .. und diese Seite ist auch durch z.B.
'liste.html?kategorie=13' zu erreichen.
Google hat die beide gespidert.... das ist natürlich nicht gut..
Also meine Frage ist.. ist das überhaupt möglich dass ich in einem Robot.txt
so was zu schreiben ??
Disallow: /pfad/zur/datei.ext?QS1=xxxxx ..
??
Vielen Dank
Verfasst: 17.12.2007, 12:30
von marguardth
du kannst in die robots.txt schreiben, was du willst. im hinterkopf musst du dabei aber behalten, dass nicht alles auch eine wirkung hat.
zur frage:
Disallow: /*?QS1=
sollte alle anfragen abfangen, die wie dein obiger beispielpfad aufgebaut sind; egal, wie der pfad aufgebaut ist und egal, wie der query string aussieht.
Verfasst: 17.12.2007, 13:26
von hzfalcon
Danke für die Antwort.... es ist ja klar ,...
hier * heisst beliebige Zeichenketten...
aber gilt hier das Fragezeichen '?' als ein 'Fragezeichen' oder als ein spezielles, das für EIN beliebiges Zeichen steht ??
Wenn ich auf ganzem Website die URLs mit Querystring verstecken vor Spiders,
ist dies richtig ?
Disallow: /*?*
Danke im Voraus
Verfasst: 17.12.2007, 15:52
von SloMo
? steht für ein Fragezeichen. Das einzige Wildcard ist *, und das verstößt eigentlich schon gegen den ursprünglichen Standard...
Aufschlussreich ist auch der Wikipedia-Artikel:
https://de.wikipedia.org/wiki/Robots_Exclusion_Standard
Verfasst: 18.12.2007, 16:44
von huah
hzfalcon hat geschrieben:
Wenn ich auf ganzem Website die URLs mit Querystring verstecken vor Spiders,
ist dies richtig ?
Disallow: /*?*
ja
Verfasst: 18.12.2007, 17:27
von twiggie
So weit ich weiß hält sich aber nur Google an Wildcards.
Wobei das eigentlich ja auch reichen sollte bei der geringen Bedeutung der anderen Sumas.
Twigg
Verfasst: 20.12.2007, 00:02
von MikeK
In den Google Webmaster Tools, kannst Du Deine robots.txt testen! Du kannst auf einer Seite herumexperimentieren und an div. URLs prüfen, ob Google die robots.txt so auswertet, wie Du dir das vorstellst.
