Hallo Leute,
kann es schädlich sein, wenn eine Domain mit und ohne www gespidert wird?
Ja und wenn, kann man da eine rotobts.txt anlegen, die eine der Varianten zur Sicherheit ausschließt, wie müsste diese robots.txt aussehen, ich kenne es eigendlich nur so, das man einzelne Verzeichnisse von der indexierung ausschließt.
rainbow
Archiv
