Warum Suchmaschinen Roboter aussperren?
Verfasst: 31.03.2006, 16:00
Hallo,
kann mir jemand erklären auswelchen Gründen man die Bots ausperren soll?
Bei Spambots ist mir das klar und bei bestimmten verzeichnissen (cgi, Adminsitrator etc.) auch. Nur warum sollte man den Google Bot generell aussperren?
kann mir jemand erklären auswelchen Gründen man die Bots ausperren soll?
Bei Spambots ist mir das klar und bei bestimmten verzeichnissen (cgi, Adminsitrator etc.) auch. Nur warum sollte man den Google Bot generell aussperren?
