- eine Entfernung der dynamischen URLs erfolgt durch Google automatisch, abhängig vom Crawlzyklus wenige Tage bis einige Wochen.
/ - der Schrägstrich als Symbol fürs Hauptverzeichnis/Root wird doch im Beispiel verwendet ...
Für Experten, und um Contentdiebe zu verwirren, genügt es, die nichtaufzunehmenden Verzeichnisse und Dateien in der robots.txt anzureißen.
Es genügt also, anstelle "/create_account.php?XTCsid=0932840" zu schreiben "/create_account.php", um alle Verzeichnisse und Dateien des Hauptverzeichnisses zu markieren, die mit "/create_account.php" beginnen.
Selbst z.B. "/c" oder "/cr" bremst die Aufnahme dieser Verzeichnisse und Dateien im Root, eben alle, die mit "/c" bzw. "cr" beginnen. Klar, man muss wenigstens die Übersicht über die eigene Website haben, damit nicht ungewollt wichtige Dateien von einer Indizierung (Aufnahme in den Index, die Liste) ausgesperrt werden ...
Die "Erfolge" einer robots.txt sind im Gegensatz zur .htaccess nie sofort sichtbar! Google muss ja erst crawlen und seine Suchergebnisse -nur in diesen wird das spürbar- neu ordnen. Und das kann einige Wochen dauern, bei wichtigen Seiten gehts schneller, 1...2 Tage.
Der "normale" Besucher wird durch diese ja nicht ausgebremst, nur Googlebot und andere seriöse Bots. Auch Contentdiebe halten sich nicht an die robots.txt.
Archiv
