Hab da ein Problem...
Der Gigablast Bot ist seit heute Morgen bei mir aktiv und crawlt immer wieder die gleichen Seiten.
Er hört gar nicht mehr auf.
Kann man da was gegen tun ?
Archiv
