G nimmt Javascript-Scripte ungewollt in Index auf

[Anonymous]

Wir verwenden auf unseren Seiten xAjax. Nun habe ich bemerkt, dass G**gle die Inhalte folgender Links in den Index aufnimmt:

<script type="text/javascript" src="https://domain.de/ordner/index.html?xaj ... "></script>

Das ist nicht schön, da die Seite ....de/ordner/index.html natürlich selbst im Index ist und auf obigen Link natürlich nur die js-texte vom Ajax zu finden sind.

Hat jemand eine Idee wie man das unterbinden kann? Auf die Gestaltung der Einbindung und den Inhalt des Scriptes hat man leider keinen Einfluß (es sei denn man greift in xAjax ein).

[axelm]

/ordner/index.html?xajaxjs=xajaxjs
in die robots.txt eintragen.

[Anonymous]

hm, davon gibt es leider mehr als eine Handvoll (es sind die Produktseiten, derzeit einige Tausend). Klar kann man das per Script erledigen, dann wäre aber die robots.txt doch erheblich groß, da in der robots.txt keine Platzhalter vewendet werden können.

Gibts Erfahrung wie G**gle darauf reagiert? Nach verschiedenen Aussagen soll der Speicherplatz dafür bei den Suchmaschinen begrenzt sein.

[harakiri]

also ich habe Platzhalter in der robots.txt und google hält sich daran.

z.B. /*/index.php?*

Gruß

Klaus

[Anonymous]

also selfhtml sagt z.B.:

Bei den Angaben zu Disallow: können Sie Verzeichnispfade und einzelne Dateien mit Pfadangabe angeben. Wildcards wie * oder *.* sind dabei nicht erlaubt.


Hat jemand eine Url zum exakten robots.txt Standard?

[Pompom]

Hat jemand eine Url zum exakten robots.txt Standard?

Dieser Standard nutzt in diesem Falle nichts, da er, im Gegensatz zu Google,
keine Wildcards unterstützt.

Siehe:
https://www.google.com/webmasters/remove.html

[Anonymous]

Danke, dass hilft mir und reicht aus, da es sich ja nur um eine Regel für den G**gle-Bot handeln soll.