Herzlich willkommen im Archiv vom ABAKUS Online Marketing Forum
Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.
Nur der Vollständigkeit halber: Seiten, die gespidert werden sollen, werden nicht gespidert, oder?kammerjaeger hat geschrieben:G... meldet zwar den Sitemap Status als ok, meine robots.txt ist auch ok, aber der bot läßt sich nicht von seinem gewohnten crawling Rythmus abbringen.
Nur wenn sie NICHT von Google gespidert werden soll. -> Schwachsinnkammerjaeger hat geschrieben:1. Muß ich in der robots.txt vielleicht angeben, wo die sitemap.xml liegt?
Les erstmal nach wofür die robots.txt da ist und vor allem was man damit machen kann und was nicht.kammerjaeger hat geschrieben:2. Muß ich vielleicht in der robotst.txt angeben, ob die sitemap.xml aktualisiert wurde?
siehe obenkammerjaeger hat geschrieben:3. Wiso brauch ich überhaupt ne robots, wenn in der sitemap doch eh schon alles drin steht, sogar noch genauer.
Das ist KEINE gültige robots.txtkammerjaeger hat geschrieben:meine robots sieht so aus...
https://www.torfkopf.de/
https://www.torfkopf.de/jahreszeit/
https://www.torfkopf.de/jahreszeit/karneval/
https://www.torfkopf.de/impressum.html
Erwarte nicht, dass Du Google vorschreiben kannst, wie oft sie bei Dir vorbeischauen und was dabei eingelesen wird. Alles, was Du in der robots.txt und der sitemaps.xml angibst, sind Wünsche, keine Befehle. Wenn Google meint, Deine Seite ist es nicht wert, jeden Tag besucht zu werden, oder schlichtweg keine Kapazitäten frei hat, dann wird das halt nix.kammerjaeger hat geschrieben:G... meldet zwar den Sitemap Status als ok, meine robots.txt ist auch ok, aber der bot läßt sich nicht von seinem gewohnten crawling Rythmus abbringen.