Frage zur robots.txt

[reikje]

Hallo,
wir haben auf allen Seiten bei uns ein Javascript Tracking unseres Tracking-Providers eingebaut (Webtrekk). Das Script beinhaltet unter anderem folgenden Code Teil:

Code: Alles auswählen

    
    <script type="text/javascript">
        <!--
            var wt_dm="track.webtrekk.de"; // track url
            var wt_ci="88880000865111"; // webtrekk id

            var wt_be="some.content"; // content id
        //-->
    </script>

Ich sehe ich in den Server Logfiles, das googlebot immer sowas anfragt:
/path/page.asp/track.webtrekk.de
/path2/page2.asp/track.webtrekk.de

Wie kann ich das in der robots.txt verhindern? Alles was vor /path/page.asp/track.webtrekk.de kommt, ist dynamisch.

[reikje]

Keiner? Geht sowas:

Disallow: ?/track.webtrekk.de

[axelm]

Ist mir nicht bekannt, hau doch 10 fälle von

/path/page.asp/track.webtrekk.de
/path2/page2.asp/track.webtrekk.de
rein dann is es erstmal für 3 monate raus.
Bau dir ne Siitemap.xml parst er evtl. genauer und sucht nicht mehr selber.

Schreibe dazu noch ne Frage an das Google Support Team.

[reikje]

Kann ich ja mal machen. Das Problem ist, das wir das Tracking Snippet in jeder Seite drinne haben. Also müsste ich für jede Seite in die robots.txt einen Eintrag machen.
/url_seite/track.webtrekk.de

Wie funktioniert Seitmap bei dir so? Hat das Auswirkungen auf das normale Crawling der Seite oder das Ranking?

[axelm]

Konnte mit der sitemap nichts feststellen aber warum soll man es dem Bot nicht einfacher machen?