robots.txt und sitemap.xml

Beitrag von **kammerjaeger** » 07.11.2006, 12:04

Guten morgen zusammen

beschäftige mich seit kurzem mit google sitemaps, aber das funzt net so recht...

G... meldet zwar den Sitemap Status als ok, meine robots.txt ist auch ok, aber der bot läßt sich nicht von seinem gewohnten crawling Rythmus abbringen.

1. Muß ich in der robots.txt vielleicht angeben, wo die sitemap.xml liegt?

2. Muß ich vielleicht in der robotst.txt angeben, ob die sitemap.xml aktualisiert wurde?

3. Wiso brauch ich überhaupt ne robots, wenn in der sitemap doch eh schon alles drin steht, sogar noch genauer.

meine Sitemap sieht so aus...

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="https://www.google.com/schemas/sitemap/0.84">
<url><loc>https://www.torfkopf.de/</loc><lastmod> ... 0</lastmod>
<changefreq>daily</changefreq><priority>1.00</priority></url> usw.
</urlset>

meine robots sieht so aus...

https://www.torfkopf.de/
https://www.torfkopf.de/jahreszeit/
https://www.torfkopf.de/jahreszeit/karneval/
https://www.torfkopf.de/impressum.html

Beide Dateien liegen im obersten Verzeichnis

Danke Euch...

von **Anzeige von ABAKUS** »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002

persönliche Betreuung
individuelle Beratung
kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Beitrag von **mark** » 07.11.2006, 12:16

Welches ist denn deine Seite?
die o.g.?
oder erste redirect auf https://www.dreadnet.de/ oder der zweite auf https://lameth.la.ohost.de/?

und wo liegen dann die robots.txt und die sitemap?

Beitrag von **kammerjaeger** » 07.11.2006, 13:16

ne die Seite ist nicht mir, habe das nur mal so als beispiel geschrieben

Beitrag von **Alpinist** » 07.11.2006, 14:26

kammerjaeger hat geschrieben:G... meldet zwar den Sitemap Status als ok, meine robots.txt ist auch ok, aber der bot läßt sich nicht von seinem gewohnten crawling Rythmus abbringen.

Nur der Vollständigkeit halber: Seiten, die gespidert werden sollen, werden nicht gespidert, oder?

kammerjaeger hat geschrieben:1. Muß ich in der robots.txt vielleicht angeben, wo die sitemap.xml liegt?

Nur wenn sie NICHT von Google gespidert werden soll. -> Schwachsinn

kammerjaeger hat geschrieben:2. Muß ich vielleicht in der robotst.txt angeben, ob die sitemap.xml aktualisiert wurde?

Les erstmal nach wofür die robots.txt da ist und vor allem was man damit machen kann und was nicht.
https://de.wikipedia.org/wiki/Robots.txt
https://de.selfhtml.org/diverses/robots.htm

kammerjaeger hat geschrieben:3. Wiso brauch ich überhaupt ne robots, wenn in der sitemap doch eh schon alles drin steht, sogar noch genauer.

siehe oben

kammerjaeger hat geschrieben:meine robots sieht so aus...
https://www.torfkopf.de/
https://www.torfkopf.de/jahreszeit/
https://www.torfkopf.de/jahreszeit/karneval/
https://www.torfkopf.de/impressum.html

Das ist KEINE gültige robots.txt

Grüße

Beitrag von **haha** » 07.11.2006, 14:34

kammerjaeger hat geschrieben:G... meldet zwar den Sitemap Status als ok, meine robots.txt ist auch ok, aber der bot läßt sich nicht von seinem gewohnten crawling Rythmus abbringen.

Erwarte nicht, dass Du Google vorschreiben kannst, wie oft sie bei Dir vorbeischauen und was dabei eingelesen wird. Alles, was Du in der robots.txt und der sitemaps.xml angibst, sind Wünsche, keine Befehle. Wenn Google meint, Deine Seite ist es nicht wert, jeden Tag besucht zu werden, oder schlichtweg keine Kapazitäten frei hat, dann wird das halt nix.