Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Wenn ich sie in der robots.txt aufnehme, bräuchte ich sie gar nicht löschen - guter Tipp.web_worker hat geschrieben:... oder Deine robots.txt um die zu löschenden URLs/Pfade erweitern....
Ich hab gar keine Crawling-Fehler... Ich hab jetzt die robots.txt angepasst. Die Idee ist aber schon gut. Mein Problem: Mein CMS gibt keine Sitempas mit 40000 Unterseiten her..... Da bräuchte man irgendein gutes Tool, sowas kenn ich aber nicht...Pfauli hat geschrieben:Ist es nicht ideal einfach die neue Sitemap gleich im Anschluß einzureichen? (Vermutung)