Alte Google Sitemaps werden ständig angefordert

[whobee]

Hallo liebes Forum,

ich habe meine Google-SM komplett "refactored" (war einfach nötig, Eigenbau! ).
Die Änderungen habe ich eingerreicht und es werden auch täglich neue Sitemaps abgeholt, aber der Großteil der Requests geht immer noch auf alte SM-Datein, die es "längst" (4 Wochen) nicht mehr gibt !?
Was machen die nur damit ???? )

Hat jemand ein ähnliches Problem?

Interessant: Ich finde auch Request auf Sitemaps mit sonderbaren Platzhaltern im Namen, die ich so gar nie eingereicht habe...

/meine_sm_*.xml
oder
/meine_sm_XXX.xml

@WMT-Betreiber: Ihr könnte nicht alle Sitemaps auf einmal über eine Wildcard herunterladen, ok?

whobee

[Margin]

Moin moin,

Anmeldungsdatum: 19.07.2005

Du siehst mich bezüglich Deiner Frage im Zusammenhang mit Deinem Anmeldedatum ein wenig verwundert

How ever ...
Es ist normal, dass die Bots die alten Seiten in den Serps abfräsen und dabei natürlich auch versuchen, auf diese zuzugreifen. Den ganzen alten Salat in den WMTs löschen und der Spuk hat ein Ende - zumindestens für 6 Monate, vereinzelte können danach wieder auftauchen und um erneute Löschung betteln.

Deine merkwürdigen Requests entstehen i.d.R. durch irgendwelche ebenso merkwürdigen Scraper.

Gruß Margin

[LinkPop]

...Es ist normal, dass die Bots die alten Seiten in den Serps abfräsen und dabei natürlich auch versuchen, auf diese zuzugreifen...

Es geht doch um die (nicht mehr vorhandenen) xml-SiteMaps - hat mit den SERPs also nix zu tun.

@whobee
Ja, Google versucht selbst nach dem Löschen in den WMT, alte SiteMaps runterzuladen. Das sollte sich aber irgendwann von selbst erledigen, wenn hier immer ganz korrekt ein 404 zurückgegeben wird.

[Margin]

Ich geb's auf für heute ...

[whobee]

Danke für das Feedback!

@Margin

Anmeldungsdatum: 19.07.2005
Du siehst mich bezüglich Deiner Frage im Zusammenhang mit Deinem Anmeldedatum ein wenig verwundert

Warum? Wohl ein Mißverständnis. oder?

Deine merkwürdigen Requests entstehen i.d.R. durch irgendwelche ebenso merkwürdigen Scraper.

Die Requests (auf meine SM-Dateien) scheinen definitiv von Googlebot zu sein.... zumindest deutet die IP-Adresse darauf hin (der User-Agent sowieso)

@LinkPop: Das Ergebnis ist immer 404, allerdings über einen 301.... Meines Erachtes kein Problem oder gibt es da andere Erkenntnisse??

Grüße
whobee

[Beach-Baer]

Ja, Google versucht selbst nach dem Löschen in den WMT, alte SiteMaps runterzuladen. Das sollte sich aber irgendwann von selbst erledigen, wenn hier immer ganz korrekt ein 404 zurückgegeben wird.

So lange Google noch Links auf die alten Sitemaps findet (z.B. von den von Margin angesprochenen Scraper-Seiten, werden Diese auch weiterhin gecrawlt. Da hilft auch das Löschen in den WMT nix.

Gruß Kay

[LinkPop]

Ja, Google versucht selbst nach dem Löschen in den WMT, alte SiteMaps runterzuladen. Das sollte sich aber irgendwann von selbst erledigen, wenn hier immer ganz korrekt ein 404 zurückgegeben wird.

So lange Google noch Links auf die alten Sitemaps findet (z.B. von den von Margin angesprochenen Scraper-Seiten, werden Diese auch weiterhin gecrawlt. Da hilft auch das Löschen in den WMT nix.

Gruß Kay

Solange ich meine xml-Sitemaps nicht gerade "sitemap.xml" o.ä. nenne, dürfte eigentlich nur Google wissen, wie meine xml-Sitemap-Datei heißt und dementsprechend dürften auch keine Links auf irgendwelchen externen Seiten auf meine xml-Sitemaps verweisen. Gut, wenn ich natürlich auf meiner eigenen Site meine eigene xml-Sitemap verlinke, darf ich mich auch nicht wundern, dass die Links irgendwo anders auftauchen.

@LinkPop: Das Ergebnis ist immer 404, allerdings über einen 301.... Meines Erachtes kein Problem oder gibt es da andere Erkenntnisse??

Nu mach's der Maschine doch nicht schwerer, als sie es eh schon hat und sieh zu, dass Du den 404er ohne Umweg sendest. Zur Not halt einfach in der .htaccess notieren.