SuMafreundliche URLs über htaccess....taugen nichts?

[pr_sniper]

- eine Entfernung der dynamischen URLs erfolgt durch Google automatisch, abhängig vom Crawlzyklus wenige Tage bis einige Wochen.

/ - der Schrägstrich als Symbol fürs Hauptverzeichnis/Root wird doch im Beispiel verwendet ...

Für Experten, und um Contentdiebe zu verwirren, genügt es, die nichtaufzunehmenden Verzeichnisse und Dateien in der robots.txt anzureißen.

Es genügt also, anstelle "/create_account.php?XTCsid=0932840" zu schreiben "/create_account.php", um alle Verzeichnisse und Dateien des Hauptverzeichnisses zu markieren, die mit "/create_account.php" beginnen.

Selbst z.B. "/c" oder "/cr" bremst die Aufnahme dieser Verzeichnisse und Dateien im Root, eben alle, die mit "/c" bzw. "cr" beginnen. Klar, man muss wenigstens die Übersicht über die eigene Website haben, damit nicht ungewollt wichtige Dateien von einer Indizierung (Aufnahme in den Index, die Liste) ausgesperrt werden ...

Die "Erfolge" einer robots.txt sind im Gegensatz zur .htaccess nie sofort sichtbar! Google muss ja erst crawlen und seine Suchergebnisse -nur in diesen wird das spürbar- neu ordnen. Und das kann einige Wochen dauern, bei wichtigen Seiten gehts schneller, 1...2 Tage.

Der "normale" Besucher wird durch diese ja nicht ausgebremst, nur Googlebot und andere seriöse Bots. Auch Contentdiebe halten sich nicht an die robots.txt.

[gimli]

Hallo,

ich habe da mal ein Problem mit einigen Seiten die unter anderem auch von Google gecrawlt werden. Bei meinem XTC-Shop werden immer wieder Seiten aufgerufen mit folgenden Werten:

/index.php/action/buy_now/BUYproducts_id/5334/cat/c236_

Zum Aussehen der Url sei gesagt, dass ich das Tool von Shopstat am Laufen habe um Sumafreundliche Urls zu erzeugen. Die Adresse deutet irgendwie darauf hin, dass der Bot versucht etwas in den Warenkorb zu tun, das passiert aber nicht und die Seite ist dann natürlich auch nicht aufrufbar (toter Link), wird aber eben trotzdem angezeigt.
Was muss in die robots.txt eingetragen werden um dieses /action/ zu unterbinden?

Ein weiteres Prob ist, was muss ich eintragen um z.B. diesen Twiceler-Bot komplett zu unterbinden?

Gruß Gimli