Guten Tag,
Ich habe ein Projekt in Goole, beidem schon Teile des Projektes gespidert sind.
Das Projekt enthällt sehr viele dynamische Links, die ich gerne mit Mod-rewrite in statische Seiten umwandeln würde.
Doch wenn ich jetzt die Seite umwandeln lasse und neu verlinke, bleiben ja die alten Links noch erhalten und mein Domain fliegt wegen doppeltem Inhalt raus.
Wie muss ich denn die robots.txt einstellen, dass alle dynamischen Seiten für jeden Bot gesperrt sind?
Wie kann ich vermeiden, dass die Seite einmal mit www und einmal ohne www gespidert wird?
Die Fragen wurden sicher schon oft gestellt, doch ich habe Sie nicht gefunden.
Danke
Archiv
