Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
XML Sitemap oder Linkliste? google indiziert nicht alles...
Alle Bots außer Google/MSN/Yahoo via htaccess aussperren?
Nein, das ist falsch so. Robots.txt verhindert das Crawling gesperrter Seiten immer und AUf JEDen FAll, Google hält sich an robots-exclusion Standard.Sololand hat geschrieben:... dass Unterseiten, die sehr häufig verlinkt sind, nicht mehr vom googlebot in Bezug auf die robots.txt ausgeschlossen werden.