Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Das Problem ist nur, dass es sich bei den Seiten ja nicht um seine eigenen handelt.BlogPosts hat geschrieben:Und zwar musst du mit der robots.txt einfach nur die Crawler von Opensiteexplorer, Majestic, Sixtrix(?) und allen Anderen blocken