Habe heute ein Problem gefunden.. also bei uns gibt's eine Seite .. sage mal
'liste.html' .. und diese Seite ist auch durch z.B.
'liste.html?kategorie=13' zu erreichen.
Google hat die beide gespidert.... das ist natürlich nicht gut..
Also meine Frage ist.. ist das überhaupt möglich dass ich in einem Robot.txt
so was zu schreiben ??
du kannst in die robots.txt schreiben, was du willst. im hinterkopf musst du dabei aber behalten, dass nicht alles auch eine wirkung hat.
zur frage:
Disallow: /*?QS1=
sollte alle anfragen abfangen, die wie dein obiger beispielpfad aufgebaut sind; egal, wie der pfad aufgebaut ist und egal, wie der query string aussieht.
Danke für die Antwort.... es ist ja klar ,...
hier * heisst beliebige Zeichenketten...
aber gilt hier das Fragezeichen '?' als ein 'Fragezeichen' oder als ein spezielles, das für EIN beliebiges Zeichen steht ??
Wenn ich auf ganzem Website die URLs mit Querystring verstecken vor Spiders,
ist dies richtig ?
So weit ich weiß hält sich aber nur Google an Wildcards.
Wobei das eigentlich ja auch reichen sollte bei der geringen Bedeutung der anderen Sumas.
Twigg
In den Google Webmaster Tools, kannst Du Deine robots.txt testen! Du kannst auf einer Seite herumexperimentieren und an div. URLs prüfen, ob Google die robots.txt so auswertet, wie Du dir das vorstellst.